📝 LLM의 "모른다고 말할 용기"

LLM을 사용하다보면 모델이 정말 지식이 있어서 대답하는 것인지, 문장을 외워서 출력하는 것인지 궁금할 때가 많습니다(생각해보니 사람도 마찬가지네요). 특히 틀린 정보를 확실한 듯 대답하면 의심이 커지게 되는 경험을 다들 한번쯤은 해보셨을텐데요, 🤔 그렇다면, 모델이 확실히 아는 정보와 모르거나 불확실한 정보를 구분할 수 있다면 어떨까요? 💁🏻‍♂️ R-Tuning 방법론은 사전학습모델이 아는 정보와 모르는 정보를 구분하고 프롬프트를 다르게 학습하면, 기존 Instruction Tuning보다 더 좋은 성능을 보여준다고 합니다. 이번 NAACL 2024에서 Outstanding Paper Awards를 수상한 본 논문의 저자는 기존 Instruction Tuning이 모델이 어떤 지식을 알고있는지 여부에 상관없이 "문장 완성"에 초점을 맞추기 때문에 환각 현상(Hallucination)이 발생한다고 보는데요, 이를 해결하기 위해 1) 먼저 QA데이터셋에서 모델에게 질문을 하고 답변이 정답과 일치하면 해당 질문은 사전학습모델(Pretrained Language Model; PLM)이 "아는 지식"으로, 일치하지 않으면 "모르는 지식"으로 구분하고 2) 아는 지식" 과 "모르는 지식"을 별개의 프롬프트 형태로 만들어서 Instruction Tuning을 진행했더니 3) "아는 지식"에 대해서 기존 Instruction Tuning 보다 더 성능이 좋아졌다고 실험 결과를 통해 보여주고 있습니다. 🔗 R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’ NAACL 2024 https://aclanthology.org/2024.naacl-long.394/