🤐 LLM 분야의 떠오르는 화두: Abstention (기권)

최근 LLM의 환각현상(Hallucination)을 줄이기 위한 대안으로 최근 떠오르는 방법론 중 하나는 "Abstention"입니다. 단어의 뜻은 "기권, 자제"인데요, 우리 말로는 "답변 포기"정도가 될 것 같습니다. 즉, LLM이 스스로가 불확실한 정보에 대해서는 답변을 거부할 수 있도록 하는 방법에 대한 연구인데요, 요즘 관련 연구가 많이 나오는 것 같습니다. 관심 있으신 분들은 시작하기 좋은 논문 3편을 아래에 소개해두었으니 간단하게 살펴보셔도 좋을 것 같습니다. The Art of Refusal: A Survey of Abstention in Large Language Models * LLM의 답변 포기(Abstention) 방법에 대한 Survey Paper * 아래 세가지 관점을 기준으로 기존 연구를 분석합니다. * (1) The Query: 질문 자체의 모호성으로 답변 회피가 필요한 경우 * (2) The Model: 모델 지식의 부족으로 답변 회피가 필요한 경우 * (3) Human Values: 윤리적/사회적 가치 등의 이유로 답변 회피가 필요한 경우 * https://arxiv.org/pdf/2407.18418 The Art of Saying No: Contextual Noncompliance in Language Models * 답변하지 않아도 되는(Noncompliance) 질문 유형을 세분화하고 관련 데이터셋을 제공 * "(1) The Query" 유형에 해당하는 방법론과 데이터를 소개합니다. * AllenAI, University of Washington, Microsoft Research 등 굵직한 기관들이 참여한 논문이네요. * https://www.arxiv.org/pdf/2407.12043 R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’ * Instruction Tuning 단계에서 모델이 Parametric Knowledge 를 벗어나는 질문에 대해서는 답변하지 않도록 하기 위해 1) 무엇을 모르는 지를 파악하고 2) 모르는 것에 대해서는 답변하지 않도록 학습하는 방법 제시 * "(2) The Model" 유형에 해당하는 방법론을 제시합니다. * 최근 NAACL 2024에서 Outstanding Paper awards를 수상했어요. * https://aclanthology.org/2024.naacl-long.394/