한국어 Reranker를 활용한 검색 증강 생성(RAG) 성능 올리기

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 효율적인 데이터 검색과 대규모 언어 모델 (Large Language Model, LLM) 을 결합하여 정확하고 관련성 높은 응답을 생성하는 AI 기술로 많이 활용되고 있습니다.

특히, RAG 방식은 최신 정보를 반영하여 답변의 부정확성이나 환각을 줄인다는 면에서 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 보다 복잡한 실제 애플리케이션에 적용 됨에 따라, 시멘틱 벡터 검색 및 답변 생성과 같은 기본적인 RAG 파이프라인 구성 만으로는 프로덕션 수준의 요구 사항을 만족 시키기에 어려울 수도 있습니다.

RAG를 개선하기 위한 고급 방법 중 하나는 순위 재정렬 (Reranking) 입니다. 간단히 말해, Reranking은 RAG가 생성한 후보 문서들에 대해 질문에 대한 관련성 및 일관성을 판단하여 문서의 우선 순위를 재 정렬 하는 것입니다. 즉, 질문과 관련성 있는 문서들을 컨텍스트의 상위권에 위치 시킴으로써, 답변의 정확도를 올리는 방법입니다.

https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/