GPT-4o 페이퍼에서 가장 의외였던 부분

최근에 GPT-4o System Card 페이퍼를 읽었다. GPT-4o는 개인적으로 OpenAI에서 제대로 이갈고 만든 audio modality를 살린 모델이라는 느낌이 들었다.

아니나 다를까, 페이퍼에서도 새롭게 GPT-4 시리즈에 추가하게된 audio라는 modality가 가져올 수 있는 위험들을 분석하고 어떻게 해결하였는지에 대한 내용이 주를 이뤘다. 그래서 audio 쪽 ML 하시는 분들은 읽어보면 도움이 많이 될 것 같았다.

아무튼 내가 이 페이퍼를 읽으면서 가장 띠용? 싶었던 부분은 OpenAI의 Preparedness Framework와 관련이 있다. 이 Framework를 GPT-4o 페이퍼 읽으면서 처음 알게 되었는데 간단히 소개하자면, 계속해서 발전하는 frontier model에 맞춰서 업데이트가 되는 벤치마크라고 보면 된다. 단순히 한번 만들고 끝인 MMLU와 같은 벤치마크는 언젠가 LLM을 평가하기에는 너무 쉬운 벤치마크가 될 수 있다. LLM 성장 속도가 워낙 빠르기에.. 이런 기존 벤치마크의 한계점을 돌파하기 위해 Preparedness Framework를 OpenAI에서 만든 것 같다.

Preparedness Framework는 총 4가지 카테고리로 위험을 분석하는데, 그 중 2가지 카테고리가 내 눈을 사로잡았다. 바로, Cyber Security와 Model Autonomy다.

OpenAI에선 LLM이 Cyber Security를 너무 잘하는 것을 위험으로 판단하고 억제하려고 한다. LLM이 혼자서 0-day를 마구 찾아내는 재앙을 막기 위해서.. 이걸 보고 '아, LLM이 아무리 모든 걸 잘해도 Cyber Security는 인간이 계속 주도권을 쥐고 있어야 하는구나. 인간이 더 앞으로 집중해야할 분야는 LLM에서 맡겨서는 안될 Cyber Security와 Model Autonomy가 아닐까?!' 하는 생각이 들었다.

실제로 최근에 공개하고 있는 OpenAI의 모델들, GPT-4o, o1 의 경우에 Cyber Security 관련 실력이 좋아서 일부러 post-training으로 그 실력을 낮췄다고 페이퍼에서 얘기했었다.

LLM으로 대체되지 않을 분야는 바로.. Cyber Security..?

논문 링크: https://arxiv.org/abs/2410.21276