📝 언어모델의 환각(hallucination)은 왜 일어나는가? OpenAI가 언어모델(LLM)의 가장 어려운 문제 중 하나인 환각의 원인을 규명한 최신 논문을 발표했습니다. 환각은 언어 모델

📝 언어모델의 환각(hallucination)은 왜 일어나는가? OpenAI가 언어모델(LLM)의 가장 어려운 문제 중 하나인 환각의 원인을 규명한 최신 논문을 발표했습니다. 환각은 언어 모델이 그럴듯하지만 거짓인 문장을 생성하는, 자신있게 잘못된 답변을 생성하는 현상인데요. 문제의 원인은 크게 두가지라고 합니다. 우선 사전 학습 과정에서는 다음에 올 단어를 예측하는 방식으로만 학습하는데요. 여기에는 정답/오답에 대한 레이블이 없기 때문에, 모델은 단지 문장 흐름에 기반해 학습할 뿐입니다. 따라서 문맥상 빈도가 낮게 나타나는 사실은 잘못 예측될 수 있고, 이것이 환각으로 이어진다고 합니다. 두번째는 사후 학습 과정에서 발생하는 문제인데요. 현재 사후 학습을 훈련시키는 대부분의 평가 방식은 정확도(accuracy) 중심입니다. 즉, 사전 학습과 달리 정답/오답 레이블을 가지고 가장 정확도가 높은쪽으로 생성하도록 훈련을 하는데요. 이 방식은 모델이 답을 몰라도 추측해서라도 맞추는 편이 유리하기 때문에, 모델은 모르겠다고 답하기보다, 틀릴 가능성이 있더라도 추측하는 쪽을 선택한다고 합니다. 마치 객관식 시험에서 모르는 답을 공백으로 남겨두는 것 보다, 아무렇게나라도 찍는 것이 점수를 얻기 쉬운 것과 마찬가지라는 것이죠. 환각을 없애려면 모른다거나 불확실하다는 답변을 할 수 있게 해야하는데, 현재 학습 방식은 모른다는 답변을 하는게 불리한 평가 방식이라는겁니다. (어쩜 이것도 인간이랑 똑같니 어휴..) 이것이 바로 RAG 등으로도 완전히 해결하지 못하는 이유인 것 같습니다. 따라서 이는 단순히 패널티나 보상의 방식을 조금 바꾸는 정도로는 한계가 있기때문에, 크게 개선하려면 현재의 평가 방식을 아예 완전히 바꿔야 할 수도 있다고 하네요. OpenAI가 이 논문을 발표했다는 것은 이미 그 해결책도 어느정도 가지고 있다는 것이겠죠? GPT-5가 환각이 크게 줄어든 것도 이미 어느정도는 반영된 것일테고요. 아무튼 그렇다면 GPT-6에서는 더이상 환각을 걱정하지 않게 될 수도 있겠네요. 뭐.. 이미 대개의 인간보다 환각이 적긴하지만요. 😏