LLM이 뜨면서 이와 관련한 에코시스템들과 자동화된 배포 방안등까지 다양한 분야들이 본격화 되고 있습니다. 이와 관련한여 깔끔하게 정리한 글이 있어 브리프하게 옮겨봅니다~ 상세 내용은 원문 참고 플리즈~^^

> DevOps에서 LLMOps까지

• DevOps(Development Operations)

  • 2007년대

  • 소프트웨어 개발과 IT운영 분리 -> 부서간 협력을 통한 효율성과 안정성을 혁신적으로 개선

  • Netflix와 Amazon 등 빅테크를 중심 확산

• MLOps(Machine Learning Operations)

  • 2015~6년대 딥러닝 기술의 발달

  • DevOps 방법론을 기계학습(Machine Learning)에 적용한 것

  • 머신러닝(딥러닝) 모델의 설계부터 데이터 학습에 이르는 개발과정과 운영 및 배포를 통합하고 효율화 하는 과정

• LLMOps(Large Language Model Operations)

  • 2022년말 챗GPT의 등장으로

  • 천문학적인 양의 매개변수(parameter)+ 방대한 양의 학습용 텍스트 데이터 + 사전학습(pre-trained)+ 미세조정(fine-tuning)

  • 이전의 DevOps, MLOps 방법론을 LLM에 적용한 것이 바로 LLMOps

    
    

> 기업에게 LLMOps가 필요한 이유

• 기업정보 보안 리스크: OpenAI나 네이버 하이퍼클로버 같은 LLM 제공업체의 API를 사용할 때, 기업 정보를 상대측 서버로 전송해야 하는데 이 과정에서 기밀 정보 유출의 위험 존재. OpenAI 같은 API 기반 서비스는 기업들에게 실질적으로 사용하기 어려움

• 보안 리스크 해결 방안으로 Local LLM or sLLM or Private LLM 구축 위한 LLMOps방법론 필요

• LLM 초기 설정 + 구성원들의 정보 요청 및 응답 등의 모든 과정을 효과적을 관리하기 위해

• LLM의 교육, 배포, 그리고 재학습 과정을 체계적으로 조직하기 위해

> LLMOps의 특수성

• 학습 가중치를 조절하는 매개변수가 일반 딥러닝 모델보다 훨씬 많음. 예)GPT-3.5는 1750억개의 매개변수, GPT-4 이후의 모델은 더 많은 매개변수 가짐

• 방대한 학습데이터의 양: 일상적인 단어 + 전문적인 논문 + 서적등에서 추출한 많은 토근으로 구성

• 고성능의 GPU, 클라우드 스토리지 연동, 자연어를 숫자로 변환하는 임베딩 과정 등 다양한 요소가 실시간으로 연동을 통한 LLM의 효과적인 운영

> MLOps와 LLMOps의 차이점

• 컴퓨팅 리소스

  • 대규모 데이터셋에서 많은 연산 수행을 통한 초거대언어모델(LLM) 학습 및 조정

  • LLMOps: 강력한 컴퓨팅 파워, 특수한 GPU나 TPU와 같은 하드웨어 필요

• 전이학습(Transfer Learning)

  • 초거대언어모델(LLM): 기존의 모델을 기반으로 특정 분야의 성능을 높이기 위해 추가 데이터를 학습 필요

  • LLMOps: 파인 튜닝 과정

• 사람의 피드백

  • 초거대언어모델(LLM)은 사용자의 피드백(RLHF)에 크게 의존

  • 인간과 같은 자연스러운 문장이나 연관성 있는 내용을 생성해내는지 여부는 성능평가에서 중요한 요소임

  • LLMOps: 사용자의 피드백을 모델에 통합하면 모델의 성능이 더욱 향상될 수 있으며, 이 내용이 포함된 파이프라인 설계 필수

• 하이퍼파라미터 조정의 목적

  • 머신러닝은: 하이퍼파라미터 조정 작업은 정확도를 향상시키는 데 중점

  • 초거대언어모델(LLM): 비용 절감과 효율적인 연산을 위한 하이퍼파라미터 조정이 주요 목표

  • 두 경우 모두 튜닝 과정이 중요하지만, 초거대언어모델(LLM)의 특수한 목적 고려 필요

• 복잡한 성능 지표

  • 머신러닝 평가:AUC Curve나 Precision, Recall과 같은 객관적이고 명확한 성능 지표. 간단히 측정 가능

  • 초거대언어모델(LLM) 평가: 인간과의 유사성과 문맥 파악 및 추론능력 등 다양한 요소를 고려. BLEU(Bilingual Evaluation Understudy) 및 ROGUE(Recall-Oriented Understudy for Gisting Evaluation)와 같은 특별한 성능 지표가 요구

  • LLMOps:초거대언어모델(LLM)의 성능측정의 모호성을 충분히 고려 필요