생성형 AI를 도입하려면 언어뿐 아니라 모든 방식과 구현 방법을 처리할 수 있도록 확장할 수 있는 총체적인 접근 방식이 필요합니다.

기계 학습 모델과 마찬가지로 대규모 언어 모델(LLM)과 그 워크플로(Workflow)를 관리하려면 기업에는 모델 수명 주기 관리를 위한 도구와 프로세스가 필요합니다. 머신 러닝의 경우 KubeFlow 및 MLFlow와 같은 플랫폼을 사용하는 머신 러닝 운영(MLOps)으로 이를 해결할 수 있으며, LLM의 경우 대규모 언어 모델 운영(LLMOps)이 주로 MLOps와 유사한 툴을 사용하여 LLM 파이프라인 관리의 복잡성과 요구를 해결하기 위한 솔루션으로 빠르게 부상하고 있습니다.

대규모 언어 모델 작업(LLMOps)은 대규모 언어 모델 관리의 미묘한 차이에 특별히 대응할 수 있는 솔루션으로 약속했습니다. 그러나 생성형 AI는 LLM보다 훨씬 더 크고, 입력(프롬프트)이든 출력(생성)이든 텍스트 외에도 이미지, 비디오, 오디오, 3D 등 다양한 미디어 형식을 통합하며, 새로운 아키텍처와 기능을 통해 모델 크기를 '대형'에서 적당한 크기로 줄이는 추세도 나타나고 있습니다. 기업에서 모델에 더 쉽게 액세스할 수 있도록 하는 것 외에도, 모델은 과도하게 매개변수화된 단일 대형 모델에서 사전 학습되거나 미세 조정된 여러 개의 소규모 도메인별 모델 배포로 전환되고 있습니다.

제너레이티브 AI 운영(GenOps)은 제너레이티브 모델의 수명 주기를 관리하기 위한 포괄적이고 미래 지향적인 방법론을 제공합니다. 이 접근 방식은 다양한 형식에 걸쳐 수백 테라바이트에 이르는 방대한 양의 비정형 데이터 준비와 관련된 복잡한 뉘앙스를 해결합니다. 사전 교육 및 미세 조정 단계부터 신속한 엔지니어링의 복잡성과 여러 모델의 운영에 이르기까지 모델 관리의 전체 스펙트럼을 포괄합니다.

GenOps의 핵심은 생성 모델 에코시스템의 모든 단계와 기능을 오케스트레이션하고 자동화하기 위해 설계된 필수 도구와 프로세스를 제공합니다. 또한 GenOps는 제너레이티브 AI의 역동적이고 유동적인 특성에 적응할 수 있을 만큼 견고하여 호환성, 모듈성, 충분한 일반화를 보장함으로써 차세대 제너레이티브 AI 혁신의 물결을 수용할 수 있습니다.

LLMOps: MLOps의 정의와 진화

LLMOps는 LLM을 배포, 모니터링 및 유지 관리하는 데 필요한 특정 요구 사항에 중점을 둡니다. 머신 러닝 모델의 수명 주기 관리를 위한 프레임워크를 제공하는 MLOps에서 진화하여 LLM이 제기하는 고유한 문제를 해결합니다. 이러한 과제에는 필요한 상당한 컴퓨팅 리소스 관리, 데이터 프라이버시 보장, 빠르게 진화하는 언어 모델의 특성에 대한 적응 등이 포함됩니다.

LLMOps와 MLOps의 비교

> MLOps는 다양한 유형의 머신 러닝 모델을 관리하기 위한 일반화된 접근 방식을 제공하며, 모델 수명 주기 전반에 걸쳐 자동화, 확장성 및 재현성을 강조합니다.

> 반면, LLMOps는 대규모 언어 모델의 특성에 초점을 맞춰 높은 계산 요구, 특수 데이터(텍스트) 처리, 사전 학습된 새로운 모델, 미세 조정을 통한 모델 업데이트, 사람의 피드백을 통한 강화 학습(RLHF)을 통한 개선 사항을 반영하는 모델 업데이트와 같은 측면을 다룹니다.

GenOps의 등장

대규모 언어 모델과 텍스트 처리뿐만 아니라 이미지, 오디오, 비디오를 포함한 모든 미디어 유형에 대한 생성 모델 작업이 가능하고 멀티 모달 시스템을 처리할 수 있는 LLMOps의 확장을 의미하는 GenOps가 등장했습니다. 이는 LLM의 관리를 관리하는 원칙이 다른 생성 AI 기술에도 광범위하게 적용되며, 텍스트에만 집중하면 LLMOps의 확장성이 제한된다는 점을 인정합니다. GenOps는 다양한 생성 모델을 관리하기 위한 전문 요구 사항과 MLOps의 많은 기본 요소를 통합하여 운영 효율성을 극대화하는 응집력 있는 운영 프레임워크를 만듭니다.

GenOps와 LLMOps: 비교 분석

> LLMOps: 대규모 언어 모델에 맞게 조정

> GenOps: 모든 생성 모델을 포함하도록 범위 확장 / 다양한 데이터 유형, 다양한 모델 아키텍처, 각기 다른 운영 요구 사항 등 다양한 유형의 생성 AI가 제기하는 광범위한 문제를 해결 / 또한 향후 더 작고 효율적인 모델로의 전환을 예상하여 진화하는 AI 환경에서의 관련성을 보장

GenOps의 사례

현재 다양한 유형의 AI 모델을 위해 여러 플랫폼을 사용하고 있는 조직은 단일 GenOps 프레임워크를 채택함으로써 상당한 이점을 얻을 수 있습니다.

> 이 접근 방식은 운영 효율성을 높이고, 복잡성을 줄이며, 모델 관리를 위한 표준화된 프로세스를 보장합니다.

> GenOps를 통해 기업은 LLMOps처럼 각 양식에 특화된 여러 플랫폼을 관리할 필요 없이 통합된 기술 및 관행에 따라 배포부터 모니터링 및 업데이트까지 생성 모델 수명 주기를 포괄적으로 관리할 수 있습니다.

• 통합 및 광범위한 범위: 대규모 언어 모델(LLM)을 배포하려는 조직에게 GenOps의 도입은 전략적 필수 요소입니다. LLM에 좁게 초점을 맞춘 LLMOps와 달리 GenOps는 언어, 이미지, 오디오, 비디오를 포함하되 이에 국한되지 않는 광범위한 생성 AI 모델을 아우르는 포괄적인 프레임워크를 제공합니다. 이러한 광범위한 범위를 통해 조직은 다양한 AI 기능을 단일 운영 체계 하에 통합하여 운영 일관성을 크게 향상시키고 서로 다른 시스템을 관리할 때 발생하는 복잡성을 줄일 수 있습니다.

• 미래 대비 및 확장성: 빠르게 진화하는 AI 환경에서 GenOps는 미래를 대비하는 솔루션을 제공합니다. AI 기술이 발전함에 따라 다양한 유형의 생성 모델 간의 경계가 점점 더 모호해지고 있습니다. GenOps는 적응력과 확장성을 갖추도록 설계되어 조직이 현재의 AI 애플리케이션을 처리할 수 있을 뿐만 아니라 향후 개발에도 대비할 수 있도록 지원합니다. 이러한 확장성은 다양한 규모와 복잡성을 가진 모델을 관리할 수 있는 능력으로 확장되며, 이는 조직이 성장하고 AI 요구 사항이 더욱 정교해짐에 따라 중요한 측면입니다.

• 효율성 및 비용 효율성: GenOps는 생성 모델 관리를 간소화하여 운영 효율성을 높입니다. 이러한 통합은 중복되는 작업과 리소스를 줄여 비용 효율적인 솔루션을 제공합니다. GenOps의 통합된 접근 방식은 여러 플랫폼의 필요성과 관련 오버헤드를 완화하여 AI 모델을 보다 경제적으로 배포하고 유지 관리할 수 있게 해줍니다.

• 향상된 성능 최적화: GenOps는 다양한 모델 유형에 걸쳐 성능 최적화에 대한 보다 미묘한 접근 방식을 촉진합니다. 특정 도메인에 따라 모델을 미세 조정할 수 있으며, HELM과 같은 언어 모델 벤치마크나 LLM을 위한 EleutherAI의 테스트 하네스와 같은 정확도 테스트, 확산 기반 이미지 모델을 위한 해상도 및 품질 평가 등 모델 성능을 벤치마킹하고 모니터링할 수 있습니다. 이러한 맞춤형 최적화는 LLMOps에서는 범위가 제한적인 제너레이티브 AI 애플리케이션에서 고성능 결과물을 달성하는 데 핵심적인 역할을 합니다.

• 리소스 할당 및 전문 지식 활용: GenOps의 포괄적인 특성은 단일 통합 프레임워크에 통합된 리소스와 전문 지식을 보다 효율적으로 할당할 수 있도록 합니다. 다양한 생성 AI 모델을 관리하는 데 필요한 전문 지식을 중앙 집중화하여 전문 기술과 지식의 사용을 최적화합니다. 이러한 중앙 집중화는 다양한 유형의 AI 모델에 대해 서로 다른 기술을 가진 여러 팀이 필요하지 않으므로 리소스 활용과 지식 공유를 개선할 수 있어 조직에 특히 유용합니다. 또한 중앙 집중화된 특성 덕분에 조직은 제너레이티브 AI 시스템을 중앙에서 관리하고 API를 개발하여 다른 엔터프라이즈 시스템과 개발자에게 기능을 노출할 수 있습니다.

제너레이티브 AI가 계속 진화하고 새로운 방식이 점점 더 실용화될 뿐만 아니라 더욱 긴밀하게 상호 통합됨에 따라 제너레이티브 AI 운영을 관리하기 위해 보다 통합적이고 미래에 대비한 접근 방식을 취하는 것은 당연한 일입니다. 이러한 변화를 수용하는 조직은 LLMOps와 같은 양식별 구현에 상당한 투자를 피하고 빠르게 발전하는 제너레이티브 AI 분야에서 성공할 수 있는 더 나은 입지를 확보하여 민첩성, 효율성 및 다음 기술 혁신의 물결에 대한 준비성을 보장할 수 있습니다.

** 출처: https://medium.com/@matthewdwhite/llmops-is-dead-long-live-genops-c70c8b1b7cb1