📝 “환각”이 아니라 “헛소리”다

LLM이 잘못된 정보를 이야기하는 것을 “환각”이 아니라 “헛소리”라고 이야기해야 한다고 주장하는 논문.

논문의 제목이 “ChatGPT is bullshit”이어서 장난으로 낸 것 같은 매우 강한 제목이지만, 철학과 소속의 저자들이 작성한 논문으로 생각거리를 많이 준다. (bullshit이라는 단어도 사전 정의가 있는 용어)

“<헛소리>라는 용어는 LLM의 작동에서 인식하거나 기억하는 것이 일어나고 있다는 의미를 피한다. 또한 우리는 그것이 산출물을 생산할 때마다 그것을 헛소리로 묘사할 수 있다. 인간의 헛소리처럼, 일부 결과물은 사실일 가능성이 높지만, 다른 것들은 그렇지 않을 것이다. 그리고 인간의 헛소리와 마찬가지로, 우리는 이러한 산출물에 의존하는 것을 조심해야 한다.”

LLM을 훈련시키는 방법이 출력 결과를 준비된 학습 데이터에 근접하도록 훈련을 시키는 것 뿐이어서, 사실 여부를 전달하는데 관심이 없기 때문에 환각이라는 표현이 적절치 않다는 것. 믿거나 인식한 것을 전달하려는 중에 정보를 잘못 전달하는 것이 아니라, 의도가 없이, 아무 생각 없이 헛소리를 하는 것이라는 의미.

“<환각>은 잘못된 은유로, 부정확성 문제에 대한 작동하지 않을 수 있는 해결책을 제안하며, 전문가들 사이에서 AI 정렬에 대한 잘못된 노력으로 이어질 수 있다. 그것은 또한 일이 옳을 때 기계에 대한 잘못된 태도로 이어질 수 있다.“

인용에 쓴 것 처럼, 연구자들이 올바른 연구 방향을 잡는데 도움이 될 것 같고, 무엇보다 사람들에게 AI 사용에 있어 정보의 정확성에 대한 경계심을 줄 수 있는 단어로써 적절할 것 같다.