뭐가 더 좋은 방법인가 : Fine-tuning VS RAG

LLM을 단독으로 사용할 때 생기는 문제들을 보완하기 위해 주로 동원되는 기법들이 Fine-tuning과 RAG입니다. 둘 다 사용할 때도 많구요! 🔎 근데 이 둘 중, LLM에게 지식을 가르치기엔 뭐가 더 유리할까요? 🔥 결론 요약 : 실험 결과는 RAG가 더 유리하다고 합니다. Mistral 7B, Llama2 7B, Orca2 7B 모델들을 가지고 MMLU 데이터셋의 일부를 차용하여 진행한 실험에서는 세 모델 모두 RAG를 사용했을 때의 Accuracy 가 Fine-tuning 보다 높게 나왔습니다. 👉 더 자세한 내용은 논문에서 확인해보세요 Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs https://arxiv.org/pdf/2312.05934.pdf