오픈 소스 라이선스 가이드
www.daleseo.com
o1 패러다임과 기존의 CoT(Chain-of-Thought) 방식이 같은 것 아니냐는 이야기에 OpenAI의 리서처가 그 둘은 큰 차이가 있다고 설명했는데요.
기존의 CoT는 모델이 사고한다기 보다는, 모델이 사전에 학습한 예제(예: 수학 문제 풀이)를 모방하는 것 뿐이기 때문입니다.
예를들어 “정답은 5입니다, 왜냐하면…” 같은 식으로 풀이 과정을 필사하는 것과 같아 실제로는 사고 과정을 담지는 않는다는 것이죠. 이 과정은 미리 문제를 해결한 후 요약한 결과를 보여주는 것에 불과하고, 따라서 정보 밀도가 낮아 성능에 한계가 있습니다.
반면에 o1 패러다임의 CoT는 “내적 독백”이나 “의식의 흐름”에 가까워졌다고 하는데요. 모델이 “다른 방법을 시도해보자” 또는 “잠깐만, 그런데”처럼 다시 생각하는 모습을 보여주면서, 정보 밀도가 더 균일하게 분포되어 있는 경향을 보인다고 합니다.
참고로 o1의 경우 사전학습을 약 20% 정도만 해도 GPT-4 수준의 성능을 보였다고 합니다. 하지만 루머에 따르면 o1의 성능 향상이 매우 크긴 하지만, GPT-3에서 GPT-4 수준의 큰 점프가 있지는 않을 것이라고 하는데요.
o1의 정식버전은 올 해 말이나 내년 초에 공개될 것이라고 하는데, 과연 이번에도 파란을 몰고 올 수 있을까요? 일단 곧 Gemini 2.0이 발표된다고 하니 팝콘은 좀 쟁여놔야겠습니다. 😎🍿🥤
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 11월 10일 오후 7:46
댓글 0
함께 읽은 게시물
Mermaid로 쉽게 다이어그램 그리기
M
... 더 보기[HBR] 관리자가 부정적인 피드백을 줄 때 저지르는 5가지 실수
연
... 더 보기코딩과 프로그래밍과 소프트웨어 개발은 다른 것이고, 코딩은 앞으로 대부분은 할 필요가 없어질 것은 맞다고 본다.
... 더 보기-
ML Engineer가 되기 위해 내가 1년 반 동안 했던 것들
커리어리 질문글에도 보면 일주일에 한번씩은 “ML Engineer, Data Scientist가 되고 싶은데 어떤 것부터 공부를 해야할지 모르겠다.” 는 질문이 자주 올라옵니다. 비슷한 질문이 계속 올라오는 이유는 정해진 답이 없기 때문이라고 생각합니다. 너무나도 다양한 방식으로 ML Engineer가 될 수 있기 때문에 처음 입문을 하시는 분들은 오히려 어떤 방향으로 나아갈지 몰라 갈팡질팡 하시는 것이죠.
... 더 보기
