MS Azure 머신러닝으로 효율적으로 생성형 AI 운영 방법

“어떻게하면 더 빠르게 가장 적합한 프롬프트를 선택할 수 있을까요?” MS 빌드 2023*에서 소개된 Azure 머신러닝의 업데이트에서 답을 찾아볼게요. *MS Build 2023 하이라이트가 궁금하신 분은 지난 글을 참고하세요. [Azure 머신러닝에 대한 업데이트 3가지] 1. 프롬프트 플로우: - 대규모 언어 모델을 프롬프트, 평가하고 조정하기 위한 간소화된 환경을 제공해요. 2. 사용 사례에 가장 적합한 프롬프트를 선택: - 사용자는 다양한 언어 모델과 데이터에 연결하는 프롬프트 워크플로우를 빠르게 만들고 '근거 기반' 등의 측정값을 사용하여 워크플로의 품질을 평가하여 적합한 프롬프트를 선택할 수 있어요. 3. 유해한 콘텐츠 제거: - 새로운 Azure AI 서비스인 Azure AI Content Safety를 통합하여 사용자가 작업 과정에서 유해한 콘텐츠를 직접 검색하고 제거할 수 있도록 지원해요. [프롬프트 플로우란 무엇일까요?] 프롬프트 엔지니어링은 대규모 언어 모델(LLM)을 사용하여 고품질 콘텐츠를 생성하는 데 필수적인 과정이지만, 여전히 반복적이고 까다로운 작업이에요. 이 과정엔 데이터 준비, 맞춤형 프롬프트 제작, LLM API를 사용한 프롬프트 실행, 생성된 콘텐츠 다듬기 등이 있어요. 이러한 단계는 사용자가 프롬프트를 미세 조정하고 비즈니스 시나리오에 가장 적합한 콘텐츠를 얻기 위해 반복적으로 수행하는 플로우(흐름)을 형성해요. [3단계의 신속한 개발 과정] 1. 설계와 개발 사용자는 LLM을 이해하고, 다양한 프롬프트를 실험하고, 복잡한 로직과 제어 플로우를 사용하여 효과적인 프롬프트를 만들어야 합니다. 또한 사전 지식이나 예제가 없는 경우 콜드 스타트 문제에 직면하게 돼요. 2. 평가와 개선 잠재적인 편견과 함정을 피하면서 일관성 있고, 도움이 되며, 정직하고, 무해한 결과물을 만들어야 해요. 또한 표준화된 지표를 사용하여 신속한 품질과 효과를 정의하고 측정해야 해요. 3. 최적화와 생산 사용자는 프롬프트 문제를 모니터링하여 해결하고, 프롬프트 변형을 비교 후 개선하고, 성능 저하 없이 프롬프트 길이를 최적화하고, 토큰 제한을 처리하고, 프롬프트 인젝션 공격으로부터 프롬프트를 보호해요. 또한 다른 개발자와 협업하고 대용량 데이터에 대한 안정성을 보장해요 프롬프트 인젝션 공격이란 프롬프트에 악성 또는 의도하지 않은 콘텐츠를 추가하여 언어 모델의 출력을 가로채는 것이에요. [프롬프트 플로우 장점] 1. 프롬프트 엔지니어링 민첩성 사용자는 다양한 도구와 리소스를 사용하여 프롬프트와 흐름을 쉽게 추적, 재현, 시각화, 비교, 평가, 개선할 수 있어요. 2. LLM이 포함된 앱에 대한 엔터프라이즈 준비 사용자는 Azure Machine Learning의 플랫폼과 솔루션을 사용하여 흐름을 공동 작업, 배포, 모니터링 후 보호할 수 있어요. 3. 프롬프트와 플로우 설계 개발 간소화  노트북과 같은 프로그래밍 인터페이스, 채팅 봇 환경을 사용하여 다양한 유형의 플로우를 만들 수 있어요. 기본 제공 도구와 샘플을 사용하여 프롬프트 엔지니어링 프로젝트를 바로 시작할 수도 있어요 프롬프트 플로우는 작성, 이형 상품 튜닝, 디버그를 위한 단일 실행, 테스트와 평가를 위한 대량 실행, 플로우 배포에 이르는 워크플로우를 안내해요. [개발에서 프로덕션으로의 원활한 배포] 배포 후 평가 지표, 지연 시간, 처리량 등의 측면에서 엔드포인트를 지속적으로 모니터링할 수 있으며, 알림을 통해 흐름을 지속적으로 개선하고 LLM이 적용된 애플리케이션의 SLA를 유지할 수 있도록 지원합니다. [다른 프레임워크에서 개발한 기존 프롬프트 에셋 재사용] LangChain과 같은 오픈 소스 라이브러리를 사용하여 이미 프롬프트와 플로우를 개발한 사용자의 경우, 프롬프트 플로우는 원활한 통합 경로를 제공해요. 이러한 호환성을 통해 기존 에셋을 프롬프트 플로우로 전환할 수 있으므로 프롬프트 엔지니어링, 평가 및 협업 작업을 용이하게 하여 프로덕션용 플로우를 준비할 수 있어요. AzureML 인사이더 프로그램에 가입하면 MS Azure 머신러닝 새로운 도구에 대한 조기 접근 권한을 얻으실 수 있으니 놓치지 마시길 바라요! AI 제품 PM이 선별한 AI 트렌드, AI 툴, AI 이슈에 대한 소식을 가장 빠르게 받고 싶으신 분은 인스타그램 @tech_toolkit 에서도 확인할 수 있어요.