커리어리 친구들, 실리콘밸리 투자사인 앤드리센 호르위츠가발간하는 a16z가 정리한 "LLM 어플리케이션을 위한 새로운 아키텍쳐" 내용을 요약합니다. 너무라도 길어서 총3-4편 정도로 보시기에 편리하게 나누어 글을 올립니다. 무엇보다도 최신 데이터 인프라를 위한 아키텍처 편과 마찬가지로 레이어 별로 구성하고, 연결고리들을 잘 설명해줘서 기본적으로 요즘 LLM 기반 어플리케이션들이 어떻게 구성되는 지를 이해하기 좋은 자료입니다. 또한, “인-컨텍스트 러닝" 패턴으로 LLM을 파인 튜닝없이 그대로 사용하면서, Contextual 데이터를 이용하기 위한 3단계 워크플로우로 구성되어 있습니다. 🌸 디자인 패턴: 인-컨텍스트 러닝 🍾 인-컨텍스트 러닝: LLM을 파인튜닝 없이 그대로 사용하면서, 똑똑한 프롬프팅 및 일부 "Contextual" 데이터에 기반한 조건을 이용하는 학습 🍾 예) 법률 문서들에 대해서 답변하는 챗봇을 만들때, 나이브하게 만들면 그냥 모든 문서를 ChatGPT에 넣고 질문하면 되겠지만, 작은 데이터셋에나 가능함. ChatGPT 가장 큰 모델도 약 50페이지 밖에 처리 못하는 제약이 현재 있음. 🍾 In-Context Learning에서는 관련 문서만 보내고, 그 중에서 답변을 받는 방식을 취합니다. 그래서 다음과 같은 3단계 워크플로우로 구성됩니다. 🧚‍♂️ Step 1. 데이터 전처리 / 임베딩 🧚‍♂️ Step 2. 프롬프트 생성 / 벡터 DB에서 관련 문서 Retrieval 🧚‍♂️ Step 3. 프롬프트 실행 / 추론 🍾 많은 작업이 필요해보이지만, LLM 자체를 훈련 및 파인 튜닝하는 것보다는 훨씬 쉽습니다. 여기까지가 개요 부분이라서 다음 글은 스텝1-3 까지 하나씩 설명하겠습니다. 답답하신 분들은 영어로 된 원문을 링크로 드리오니 선수학습해도 좋습니다 :) https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/?mibextid=Zxz2cZ