System 1, 2 사고를 간단하게 말하면 지식의 탐색과 논리의 탐색으로 나눈다고 할 수 있는데, LLM도 마찬가지로 Base model로 결과를 출력하는 것은 지식의 탐색이고 Reasoning

System 1, 2 사고를 간단하게 말하면 지식의 탐색과 논리의 탐색으로 나눈다고 할 수 있는데, LLM도 마찬가지로 Base model로 결과를 출력하는 것은 지식의 탐색이고 Reasoning model로 추론하는 것은 논리의 탐색으로 볼 수 있으며, 이는 고정된 가중치 내에서의 탐색과 가중치들의 변화(정확한 의미는 아님)를 탐색하는 것으로 나타낼 수 있겠다. 가중치는 결과를 출력하며 변화시킬 수(지식간의 연결 변화) 있는데, 고정된 가중치를 현재의 바둑판의 형세라 한다면, 변화하는 가중치를 탐색하는 건 바둑판의 형세 변화를 탐색하는 것과 같다고 할 수 있겠다. 따라서 새로운 문제에 대한 Reasoning model의 Test time compute는 필수적인 연산일 것이다. (“은하수를..안내서”에서 궁극의 질문에 답하기 위해 지구 컴퓨터가 1천만년동안 깊이 생각했다는 이야기가 다시 다가온다) 따라서 관건은 한 번 Reasoning model로 추론한 논리에 대해서는 과정과 결과를 스스로 즉시 학습하여, 다음번엔 논리의 탐색이 아니라 지식의 탐색으로 사용할 수 있는가가 아닐까 싶다.