📝 LLM 학습은 앞으로 사후 훈련이 더 중요할 것

현재 GPT-4의 ELO 점수는 원래 출시된 버전보다 약 100점 더 높은데요. OpenAI 공동 창업자인 John Schulman과의 인터뷰에 따르면 GPT-4가 1년 전보다 "더 똑똑해진" 이유는 복잡한 사후 훈련(Post-training) 덕분이라고 합니다. 이를 나타내는 것 중 하나는 GPT-4 모델에서 생성된 출력이 웹에 있는 대부분의 콘텐츠보다 품질이 더 높다는 것인데요. 따라서 단순히 웹에 있는 내용을 모방하도록 훈련받는 것보다 모델이 스스로 생각하도록 하는 것이 더 의미가 있다고 합니다. 현재 많은 회사들이 사전 훈련(Pre-training)에 집중해서, 더 많은 데이터와 아키텍처에 대한 연구를 많이 하고 있는데요. 이는 이제 방법론들이 많이 대중화 되었고, 또 공개된 사전 학습된 모델들이 많아졌기 때문에 어떻게 보면 상당히 쉬운 일이 되었습니다. 하지만 사후 학습은 암묵적인 지식이 많이 필요하고, 이에 숙련된 인력이 많이 필요한 매우 복잡한 작업이기 때문에 이 부분이 현재 가장 어렵고 힘든 일로, 기술 장벽을 크게 만드는 일이라고 합니다. 따라서 앞으로 사전 훈련보다 사후 훈련에 더 많은 컴퓨팅 자원을 쓰게 될 수도 있다고 합니다. John Schulman가 OpenAI의 Post-training Lead인 만큼 사후 훈련에 편향된 의견을 낼 수 있긴하지만, OpenAI의 공동 창업지이기도 하니 깊게 생각해 볼 필요가 있는 것 같습니다.