RAG 평가 메커니즘을 설계하는 새로운 방법

RAG는 FM의 환각을 줄이기 위한 대표적인 기술입니다. 최근, 문항반응이론(IRT)을 활용해 과제별 정확도에 대한 정보성을 평가하는 방식으로 RAG를 평가하는 방식이 소개되었습니다. 이는 검색된 정보를 모델에 보내기 전에 효과를 측정하는 데 유용할 수 있고, 이런 최적화로 모델에 최상의 정보를 전송함으로써 추론 오버헤드를 줄일 수 있게 됩니다. https://www.ciokorea.com/news/343109