그냥 추측이지만 o1의 reasoning 학습 방법과 추론 방법은, output 추론 결과가 아니라 reasoning 추론에 대해 RL을 사용해서, 추론시에 reasoning 결과에 대한 스코어를 MCTS로 탐색 한 다음 가장 좋은 스코어의 reasoning 을 사용하는 것이 아닐까? 그래서 간단한 문제인 경우 빠르게 좋은 스코어에 도달하니 reasoning 속도가 빠르고, 어려운 문제인 경우에는 reasoning 속도가 느려지는게 아닐까? 추가로, reasoning 시에 reflection을 사용할지 분할 정복을 사용할지, 추가로 뭘 더 사용할지등의 전략 결정도 reasoning 시에 RL로 카테고리와 스코어에 따라 방법과 단계를 결정하는 것이 아닐까? 라는 망상을 한 번 해 보았다. ㅋ..