OpenAI의 연구원의 말에 따르면, LLM 모델의 파라미터의 대부분은 단순한 지식을 담고 있을 뿐이라서 추론 능력을 향상 시키기 위해 모델의 크기를 더 키울 필요는 없다고 합니다. (수백, 수천억 이상을 말하는 것이겠죠)

더불어 LLM의 추론 능력이 충분히 뛰어나면, 지식 정보는 외부에서 끌어와서 RAG로 해결하면 되니 AI가 지식을 기억해 둘 필요가 없기 때문에 더욱 그렇고요.

그걸 일찌감치 발견했기에 SearchGPT를 개발하기 시작한 것 같네요.

그리고 최적해를 찾기 위한 시뮬레이션을 깊게 오래 할 수록 더 좋은 답변을 찾을 수 있기 때문에, 이에 따라 이제 학습 보다는 추론 시간에 더 많은 컴퓨팅 자원을 사용하는 패러다임으로 쉬프트하게 될 것이라고 하네요.

o1은 GPT-4 보다는 GPT3.5가 나왔을 때와 같은 느낌으로, AI 학습과 사용에 큰 패러다임 변화가 생긴 것 같은데요. 특히 RAG/Agent 구조의 변화와 로컬/서버 모델의 용처 구분이 좀 더 분명해 질 것 같습니다. o2는 진짜 AGI에 가까워질까요? 과연 앞으로 또 어떤 재미난 일들이 생길지 기대됩니다. 😎🍿🥤