미국시간으로 5월13일 OpenAI가 발표한 GPT-4o(옴니)의 내용을 정리해봅니다.

• 주요 내용

  • GPT-4omni(옴니=모든것)

  • 텍스트, 오디오, 이미지 및 비디오의 모든 조합을 입력과 출력

  • 최소 232밀리초, 평균 320밀리초만에 오디오 입력과 응답으로 사람의 응답시간과 비슷한 수준

  • 영어 텍스트 및 코드에 대한 GPT-4 터보 성능과 비슷하며, 비영어권 언어의 텍스트에 대한 성능이 크게 향상됨.

  • API는 훨씬 빠르고 50% 더 저렴

• 모델 기능

  • GPT-4o 이전의 음성 모드는 평균 2.8초(GPT-3.5) 및 5.4초(GPT-4)의 지연 시간

  • GPT-3.5 또는 GPT-4는 하나의 단순 모델이 텍스트를 받아 텍스트를 출력하거나 오디오를 텍스트로 변환하는 방식

  • GPT-4o는 텍스트, 시각, 오디오에 걸쳐 하나의 새로운 모델을 엔드투엔드로 훈련시켜 모든 입력과 출력을 동일한 신경망으로 처리

• 모델 평가

  • GPT-4o는 텍스트, 추론, 코딩 지능에서 GPT-4 터보 수준의 성능 달성

  • 추론 능력 향상: COT MMLU(일반 지식 문제)에서 88.7%라는 새로운 최고 점수 기록 / 기존의 5-샷 노-CoT MMLU에서 GPT-4o는 87.2%라는 새로운 최고 점수 기록

• 언어 토큰화

  • 한국어 토큰 수 1.7배 감소(45개에서 27개로)

• 모델 안전 및 제한 사항

  • 학습 데이터 필터링과 사후 학습을 통한 모델 동작 개선

  • 사이버 보안, 화생방, 설득, 모델 자율성에 대한 평가 결과 GPT-4o는 어느 항목에서도 중간 위험 이상의 점수를 받지 못함

  • 사회 심리학, 편견과 공정성, 잘못된 정보 등의 분야에서 70명 이상의 외부 전문가와 함께 광범위한 외부 레드팀 작업을 거쳐 상호 작용의 안전성을 개선하기 위한 안전 개입 구축

• 모델 가용성

  • GPT-4o의 기능은 반복적으로 출시 예정(레드팀 액세스 권한 확장됨)

  • GPT-4o의 텍스트 및 이미지 기능을 무료 티어와 플러스 사용자에게 제공 예정. 음성모드는 알파버전으로 출시 예정

  • GPT-4 터보에 비해 2배 빠른 속도, 절반의 가격, 5배 더 높은 속도 제한

  • 새로운 오디오 및 비디오 기능에 대한 API 지원 예정

• Source: https://openai.com/index/hello-gpt-4o/