Google DeepMind의 최신 연구에 따르면 모델의 크기를 키우고 학습을 오래 시키면 LLM의 할루시네이션을 억제 할 수 있다고 합니다. 반대로 데이터가 증가하면 할루시네이션이 증가하고요.

Google DeepMind의 최신 연구에 따르면 모델의 크기를 키우고 학습을 오래 시키면 LLM의 할루시네이션을 억제 할 수 있다고 합니다. 반대로 데이터가 증가하면 할루시네이션이 증가하고요. 여기까지는 상식적으로(?) 추측 할 수 있는 바인데요. 문제(?)는 할루시네이션을 억제하기 위해서는 기존에 계산된 최적의 사이즈보다 무려 ”1자리“ 수가 더 큰 모델 사이즈와 계산량이 필요하다고 합니다. 즉, 할루시네이션을 일으키는 비율은 모델 사이즈를 키우고 시간 학습을 늘리면 개선 할 수 있지만, 효율이 무지막지하게 떨어진다는 것이죠. 할루시네이션을 억제하는 것은 물론 중요하고, 학습과 추론에 필요한 하드웨어 비용도 점점 싸지고 있긴 하지만, 100% 완전히 없어지는 것도 아닌데 1자리수가 넘는 수준의 비용을 더 쓰는 것이 합리적인 방법은 아닐 것 같긴하네요.