📝 소문대로 GPT-5.2가 출시되었네요 0.1 오른 것 치고는 성능이 크게 올랐는데요. 당연하지만(?) 대부분의 벤치마크에서 Gemini 3 Pro와 Claude Opus 4.5를 넘었습니다.

📝 소문대로 GPT-5.2가 출시되었네요 0.1 오른 것 치고는 성능이 크게 올랐는데요. 당연하지만(?) 대부분의 벤치마크에서 Gemini 3 Pro와 Claude Opus 4.5를 넘었습니다. 발전 속도가 진짜 빠르네요. 표에는 안나와 있지만, SWE-Bench Verified 에서 80.0%를 달성했습니다. Claude Opus 4.5가 80.9%로 여전히 1등이긴 합니다만 이제 이 수치는 의미 없을 듯 하고요. ARC-AGI-1은 GPT-5.2가 90%를 넘어서 이제 의미 없는 벤치가 됐습니다. 이거 진짜 어렵겠다 했던때가 진짜 바로 얼마전인데요. AIME는 100%를 달성했고, GPQA도 90%를 넘어서 일반적인 수준의(?) 수학 벤치마크는 의미 없겠습니다. 이것-수학풀이도 진짜 어려울 거라고 했던게 엊그제 같은데 말이죠. 그 외에 제가 중요하게 보고 있는 needle 테스트(긴 컨텍스트에서 정보 찾기)성능이 매우 크게 올랐습니다. 제가 ChatGPT를 주력으로 쓰는 이유이기도 한데, 이 부분만큼은 계속 압도적인 것 같네요. 암튼.. 이제 벤치마크들이 대부분 의미가 없어진 것 같습니다. 이제 남은건 실세계에서의 정성평가와 과학적인 발견뿐일 듯 하네요. 단가는 살짝 올랐는데요. 아마도 성능을 높이기 위해 모델 크기를 조금 키운 것이 아닌가 싶습니다. 그래도 Opus 4.5에 비해서는 아직 3배 저렴합니다. ㅎㅎ