📝 OpenAI가 GDPval이라는 새로운 평가 체계를 발표했습니다. 매우 중요한 평가라서 정리해봅니다.

GDPval은 AI 모델이 실제 경제적 가치가 있는 업무를 얼마나 잘 수행할 수 있는지를 측정하는 것을 목표로 하는 평가인데요.

기존의 벤치마크들은 지식/추론 능력을 평가하는 것이라 실제 업무와 연결되기에는 한계가 있어서, 직업별 실무 과제를 중심으로 평가하는 평가 체계를 만들었다고 합니다.

평가에는 미국 GDP에 큰 기여를 하는 9개 산업에서, 경제적 중요성이 큰 지식 기반 직업 5개씩, 총 44개 직업을 포함되어 있습니다.

각 직업별로 실질적인 업무 과제를 설계했고, 평가하는 제출물 역시 문서, 슬라이드, 도면, 스프레드시트, 멀티미디어 등 다양한 형식의 실질적인 결과물입니다.

중요한 건 결과겠죠?

첨부한 그래프를 보시면, Claude Opus 4.1, GPT-5 등 최상위 모델과 인간 전문가의 결과물을 비교했을 때, Opus 4.1의 경우 인간 전문가와의 차이가 거의 없다시피 할 정도입니다.

그리고 그래프는 평균이라는 것이 함정(?) 일부 과제에서는 AI가 인간 수준 혹은 더 나은 평가를 받는 경우도 있었다고 합니다.

아직은 인간 전문가가 우위에 있지만, GPT-4o와 GPT-5 high 까지 겨우 1년이 조금 넘었단 것을 생각해보면, 내년이면 그래프가 역전될 가능성이 거의 99%일 것 같습니다.

무엇보다 과제 하나를 처리하는 데 필요한 시간을 인간과 비교하면 말도 못하게 빠르게 처리할텐데요. 이 속도가 사회에 엄청난 변화를 만들지 않을까 싶습니다.

아참, 또 괜히 호들갑 떠는 사람들 나올까봐 말하는데 😎 그렇다고해서 저 직업이 모두 사라지지는 않을거라고 생각합니다. 직업의 특성은 변할 수 있겠지만, 오히려 더 많은 인원이 필요하게되는 직업도 있을겁니다. 공급이 수요를 만들기도 하니까요.