RAG를 활용한 LLM 퍼포먼스 개선

얼마전에 RAG대신 agent를 활용하는 편이 좋다는 의견의 블로그를 공유드렸는데요, 이번에는 RAG를 잘 활용하면 LLM을 통해 원하는 결과를 얻을 수 있다는 글입니다.

RAG는 LLM의 훈련 데이터에 없는 외부 데이터를 통합하여 LLM의 텍스트 생성 과정에 활용할 수 있게 해주는 기법인데요, . 이는 환각(hallucination)을 줄이고 LLM 응답의 관련성을 높일 수 있습니다.

• 기본 RAG 절차: RAG는 인덱싱, 검색, 생성의 세 단계로 구성됩니다. 데이터를 준비하고(vector로 변환), 사용자 쿼리에 가장 관련된 텍스트 조각을 검색한 다음, LLM에 의한 응답 생성에 이를 사용합니다.

• 성능 개선 기법:

  • 전 검색 기법: 인덱싱 단계에서 데이터의 품질을 높이고, 적절한 청크 크기와 중복을 결정하며, 사용자 쿼리를 재작성하여 데이터베이스와 일치시킵니다.

  • 검색 기법: 쿼리 준비 후 검색 결과를 개선하기 위해 다양한 검색 방법과 임베딩 모델을 사용할 수 있습니다.

  • 후 검색 기법: 관련 청크를 검색한 후에는 재순위 지정, 정보 압축 등을 통해 생성 품질을 더욱 향상시킬 수 있습니다.

• 품질과 대기 시간 균형: 더 빠른 모델 사용, 병렬 처리, 캐싱을 통해 대기 시간을 줄이면서 품질을 유지할 수 있습니다.

자세한 내용은 아래 링크를 참고해주세요!

https://medium.com/design-bootcamp/how-to-improve-rag-results-in-your-llm-apps-from-basics-to-advanced-822818014144