o1 의 모델 그 자체로써 특별한 점은 추론하는 방법을 강화학습을 통해 익히도록 한 것인가봅니다. 정렬을 위해 사용하는 RLHF는 강화학습이라고 보기에는 좀 불충분한 면이 있다고 하는데, o1 은 강화학습을 본격적으로 사용한 모델로 보이네요.

즉, 데이터를 통한 학습이 아니라, 알파고 제로와 같이 기보가 없는 상태에서 학습하는 방식과 유사한 방식을 사용한 것으로 추측되는데요. 추론 전략과 과정을 인간이 제공한 데이터로 학습하는 것이 아니라, 스스로 다양한 추론을 시도하고 실패하고 정복하는 과정을 거쳐서 학습하도록 한 것 같습니다.

바둑처럼, LLM 역시 인간에게 배우는 것 보다 스스로 시행착오를 통해 진화(학습)하도록 하는 것이 훨씬 뛰어난 결과를 가져다 주는 것 같네요.