o1이 성능이 생각보다 낮다고 하는 글들을 보면, 기존에 사용하던 프롬프트를 그대로 사용하기 때문인 것이 많다. o1은 프롬프트를 간단하게 써야 잘 나온다는 말도 같은 문제로 보이는데, 프롬프트에 추론 방법을 제공하면 그 방식을 채용하기 때문으로 보인다.

아직 확실한건 아니지만 만일 이 추측이 맞다면, 한마디로 말해 o1이 생각하는 추론 전략이 “인간이 생각한” 것보다 우수하다는 뜻.

조금 다르긴 하지만 기보 없이 학습한 알파고 제로가, 기보를 학습한 오리지널 알파고보다 훨씬 뛰어난 것과 같은 원리.

그럼 이제 정말로 LLM이 인간보다 똑똑해졌다고 할 수 있을까? OpenAI는 이미 다음 세대의 모델을 학습시키고 있다고 하는데, 그 모델은 또 얼마나 뛰어날까? 정말 흥미진진한 시대가 아닐 수 없다.