거대언어모델(LLM, Large Language Model)과 관련한 최신 기사를 읽다보면 RAG(Retrieval Augmented Generation, 검색증강생성)이란 단어가 자주 등장한다. RAG(랙)에 대해 깔끔하게 정리한 트렌드 와칭글이 있어 옮겨봅니다. ^^

1. RAG이란 무엇인가?

• 검색증강생성(RAG)은 자연어 처리(NLP) 작업, 특히 개방형 도메인 질문의 답변에 사용되는 접근 방식이다.

• 검색기반모델과 생성기반모델의 강점을 결합하여 보다 정확하고 유익한 답변을 제공한다.(by Claude) 

• RAG은 LLM의 출력을 최적화하여 응답을 생성하기 전에 LLM 외부의 신뢰할 수 있는 콘텐츠를 참조하는 방식이다.

2. RAG은 LLM의 문제를 해결하는 한 가지 접근 방식

LLM의 알려진 문제점은 다음과 같다.

• 답변이 없을 때 허위 정보를 제공한다. (환각현상, 할루시네이션, hallusination) 

• 이용자가 구체적이고 최신의 응답을 기대할 때 오래되었거나 일반적인 정보를 제공한다. (out of data)

• 신뢰할 수 없는 출처로부터 응답을 생성한다. (source)

>>RAG는 LLM의 문제 중 일부를 해결하기 위한 한 가지 접근 방식이다. (참고: 아마존)

3. RAG 접근 방식의 두 가지 주요 구성 요소

1) 검색기(Retriever)

• 검색기반(retrieval-based)모델로서 일반적으로 'dense passage retriever'나 'sparse vector space' 모델이다. 이 모델의 역할은 입력 질문을 기반으로 대규모 코퍼스(corpus, 예: Wikipedia)에서 관련 구절이나 문서를 검색하는 것이다.

2) 생성기(Generator)

• 생성형언어(generative language)모델로서 일반적으로 버트(BERT), GPT, T5와 같이 사전 학습된 대규모 트랜스포머 모델이다. 이 모델의 역할은 입력 질문과 검색된 내용을 모두 조건화하여 최종 답변을 생성하는 것이다.

  
  

4. RAG 작동 방식

• RAG가 없는 경우 LLM은 이용자 입력을 받아 이미 알고 있는 정보를 기반으로 응답을 생성한다.

• RAG을 적용하면 이용자 입력을 활용하여 먼저 LLM 외부의 데이터에서 정보를 가져오는 정보검색 과정이 먼저 실행된다. 이용자 질문과 관련 정보가 합쳐져서 LLM에게 제공된다. LLM은 새로 제공되는 정보와 LLM의 학습 데이터를 활용하여 더 나은 응답을 생성한다.

  
  

5. RAG의 장점

거대언어모델(LLM)의 강력한 언어 이해와 생성 기능을 유지하면서 대규모 코퍼스의 방대한 지식을 활용하여 보다 정확하고 내용이 풍부한 답변을 제공할 수 있다는 점이다.

• 비용 효율적인 구현

• 최신 정보 활용

• 이용자 신뢰 강화

• 개발자 제어 강화

6. RAG 모델의 대표적인 예

• 메타(구 페이스북) AI의 RAG (검색 증강 세대)

• 구글 AI의 REALM (검색 증강 언어 모델)

• 마이크로소프트의 FiD (퓨전 인 디코더)

  
  

RAG 모델은 많은 오픈 도메인 QA 벤치마크에서 최고의 성능을 달성했으며 고급 질문 답변 시스템, 대화형 Ai 비서, 기타 지식 집약적인 자연어처리(NLP) 서비스를 개발할 수 있는 잠재력을 가지고 있다.

>> 보다 상세한 내용과 이미지는 원문을 참고해주세요~

• 출처 : 트렌드와칭(https://www.trendw.kr/news/articleView.html?idxno=10613)