예상대로 OpenAI에서 GPT-5를 발표했습니다.

그동안 아쉬웠던 코딩 성능이 매우 크게 올랐고, 헬스 벤치등의 할루시네이션이 거의 없다시피 할 정도로 크게 줄었습니다.

긴 컨텍스트의 모든 정보를 잘 참조할 수 있는가를 테스트하는 needle 테스트 성능이 크게 올랐는데요. 아마도 이 성능이 영향을 많이준게 아닌가 싶습니다.

그 외에도 지시의 숨은 의미들을 이해하거나 말을 더 유려하게 하는 등 벤치마크 숫자로는 표현할 수 없는 능력들이 크게 향상된 것 같습니다. 페어 프로그래머가 될 수 있다는 것을 계속 강조하네요.

그리고.. 가격이 또 싸졌습니다..?! 출력 토큰은 4.1에 비하면 20~30% 정도 비싸졌지만 4o와는 동일한데요. 입력 토큰이 적게는 60%에서 캐시 입력을 고려하면 10배까지 저렴해졌습니다.

암튼 이제 벤치마크로는 진짜 성능을 알기 어려운 시대가 되어서 다방면으로 써봐야 어떻게 좋아졌는지 알 수 있을거라…오늘밤도 다 잤…🥲