커리어리 친구들, 지난주 AWS 코리아에서 중간에 피맥 파티하면서 느낀 점은, 국내 대기업에서도 초거대 언어 모델(LLM)에 관심이 많고 이미 상당히 진행한 곳도 있으며 그러한 기술적인 질문들을 많이 해 주셨습니다. MLOps가 전반적인 ML 모델을 생성하고 모니터링하고 엔드포인트로 배포하는 생명 주기라면, LLMOps 도 LLM을 MLOps 생명주기와 마찬가지로 그러한 생명주기를 가집니다. 다만 LLM은 기존의 ML 모델보다 볼륨 사이즈가 크고 이미 사전 훈련된(Pre-trained) 되어 있고, GPT4 나 Palm2 같은 것은 오픈AI 나 구글 BaRD 팀들만 훈련시킬 수 있습니다. 그래서 요즘 메타의 라마2 오픈 소스 공개 모델을 가지고 직접 파인튜닝과 프롬프트 엔지니어링, RLHF 등을 해서 회사 내부에 맞게 한글이 좀더 잘 나오는 커스터마이징 작업들을 하고 있습니다. 이럴때 LLM을 미세조정할 때 필요한 모델 아키텍처, 인컨텍스트 러닝이 무엇이며, 프롬프트 엔지니어링은 어떻게 하는 지에 대해 강의를 했습니다. 강의 자료와 예제 소스는 https://www.github.com/synabreu/awskrusergroup 에 있으며, 계속 라마2 배포와 파인튜닝하는 방법에 대해 업데이트를 하도록 하겠습니다.