📰 Gemini 3 Pro 벤치마크가 유출되었군요. 다음은 유출된 벤치마크 요약. tldr; 장기 계획 전략이 필요한 에이전트형 추론 및 추상적 패턴 풀이와 고난이도 수학에 압도적인 성능을 보임

📰 Gemini 3 Pro 벤치마크가 유출되었군요. 다음은 유출된 벤치마크 요약. tldr; 장기 계획 전략이 필요한 에이전트형 추론 및 추상적 패턴 풀이와 고난이도 수학에 압도적인 성능을 보임. 이상하고도(?) 아쉽게도 SWE-Bench Verified 성능은 비교적으로 떨어지는군요. 다음은 압도적인 성능을 보인 유의미한 벤치마크 5종 설명 및 성능 해설. 1️⃣ ARC-AGI-2 규칙을 직접 말해주지 않고, 예시 몇 개만 보고 패턴을 스스로 찾아내는 퍼즐(추상적인 도형·패턴) 테스트. 다른 모델이 5~18%대에 머무는 데 반해, Gemini 3 Pro는 31.1%로 레벨을 한 단계 뛰어넘음. 2️⃣ MathArena Apex 수학 올림피아드급 난이도의 문제를 푸는 테스트. 다른 모델 성능이 0~1%대인데, Gemini 3 Pro는 23.4%로 안 풀리던 문제를 실제로 푸는 수준으로 올라감. 3️⃣ ScreenSpot-Pro 앱/웹 화면 캡처를 보여주고 “이 버튼 어디야?”, “이 설정은 어떤 역할이야?” 같은 질문에 답하는, UI 구조·레이블·맥락 이해 테스트. 다른 모델이 3~36%대인 반면, Gemini 3 Pro는 72.7%로 실제 사용 가능한 인간 수준의 레벨이 됨. 4️⃣ OmniDocBench 1.5 스캔 문서/이미지에서 글자를 읽고, 레이아웃까지 고려해 얼마나 정확하게 텍스트를 복원하는지 보는 테스트. 다른 모델보다 Edit Distance가 눈에 띄게 낮아, 스캔된 계약서, 영수증, 논문 PDF 같은 겅 거의 사람 수준으로 그대로 텍스트화가 가능해짐. 5️⃣ Vending-Bench 2 여러 단계를 거치는 시뮬레이션 환경에서, 계획을 세우고 조정해가며 장기적인 보상(수익)을 최대화하는 에이전트 테스트. 다른 모델이 수백~3천 달러 수준인데, Gemini 3 Pro는 5,478달러를 벌어들임. 실세계에서 사용 가능한 수준의 장기 전략 수립이 가능해짐.