2025 수능 문제를 o1-preview로 풀게 한 결과 단 한 문제만 틀렸다고 합니다.

무엇보다 학습 데이터에 들어가 있지 않은 것이 확실한 문제를 푼 것이니 의미가 꽤 큽니다.

정식 o1 도 아니고, o1-preview이니, 내년이 되면 만점을 맞을 가능성이 높겠죠? 최근에는 LLM이 의사와 동일 혹은 높은 수준의 진단을 한다는 연구 결과도 속속 나오고 있고요.

이젠 정말 시험과 자격증의 의미에 대해서 다시 생각해 봐야 할 때가 아닌가 싶네요.

출처: Korean SAT LLM Leaderboard