최근 LLM의 환각현상(Hallucination)을 줄이기 위한 대안으로 최근 떠오르는 방법론 중 하나는 "Abstention"입니다. 단어의 뜻은 "기권, 자제"인데요, 우리 말로는 "답변 포기"정도가 될 것 같습니다.
즉, LLM이 스스로가 불확실한 정보에 대해서는 답변을 거부할 수 있도록 하는 방법에 대한 연구인데요, 요즘 관련 연구가 많이 나오는 것 같습니다. 관심 있으신 분들은 시작하기 좋은 논문 3편을 아래에 소개해두었으니 간단하게 살펴보셔도 좋을 것 같습니다.
The Art of Refusal: A Survey of Abstention in Large Language Models
LLM의 답변 포기(Abstention) 방법에 대한 Survey Paper
아래 세가지 관점을 기준으로 기존 연구를 분석합니다.
(1) The Query: 질문 자체의 모호성으로 답변 회피가 필요한 경우
(2) The Model: 모델 지식의 부족으로 답변 회피가 필요한 경우
(3) Human Values: 윤리적/사회적 가치 등의 이유로 답변 회피가 필요한 경우
https://arxiv.org/pdf/2407.18418
The Art of Saying No: Contextual Noncompliance in Language Models
답변하지 않아도 되는(Noncompliance) 질문 유형을 세분화하고 관련 데이터셋을 제공
"(1) The Query" 유형에 해당하는 방법론과 데이터를 소개합니다.
AllenAI, University of Washington, Microsoft Research 등 굵직한 기관들이 참여한 논문이네요.
https://www.arxiv.org/pdf/2407.12043
R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’
Instruction Tuning 단계에서 모델이 Parametric Knowledge 를 벗어나는 질문에 대해서는 답변하지 않도록 하기 위해 1) 무엇을 모르는 지를 파악하고 2) 모르는 것에 대해서는 답변하지 않도록 학습하는 방법 제시
"(2) The Model" 유형에 해당하는 방법론을 제시합니다.
최근 NAACL 2024에서 Outstanding Paper awards를 수상했어요.
https://aclanthology.org/2024.naacl-long.394/
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 8월 1일 오후 10:22