파인튜닝된 LLM 모델을 사용하거나 긴 컨텍스트의 모델을 사용하는 것 보다, RAG를 잘 사용하는 것이 확실히 좋다고 합니다.

Retrieval meets Long Context Large Language Models - https://arxiv.org/abs/2310.03025

더불어 검색 해 오는 컨텍스트가 많다고 좋은 것은 아니라는 결과도 있는데, 이건 Lost in the Middle: How Language Models Use Long Contexts - https://arxiv.org/abs/2307.03172 때문이기도 하지 않을까 싶습니다.

저도 파인튜닝을 하기보다 RAG와 파운데이션 모델을 잘 활용하는 것이 낫다고 생각해서, 결국 모델을 파인튜닝하는 작업은 정말 특수한 경우가 아니라면 불필요한 일이 될 것으로 보고 있는데요. 제 생각이 맞다는 논문이 나와 조금 더 확신을 갖게 되네요.