지난 주말 OpenAI 소동으로 어제의 이런 중요한 발표는 그냥 묻혔네요.

지금은 OpenAI의 GPT-4나 구글의 PaLm과 같은 강력한 LLM의 능력에 감탄을 하지만, 실제 기업에서 이것을 구축하거나 퍼블릭으로 이용하기엔 여러 제약이 있습니다.

그러다 보니 LLM처럼 뭐든지 먹어 치워서 크기와 수천억개의 파라미터로 해결하기 보단 영재 발굴 프로젝트처럼 '작고 똘똘한 놈'을 훈련 발전시키는 연구가 활발한데요.

이런 소규모언어모델은 향상된 효율성, 커스터마이제이젼, 비용 효율성, 자체 데이터 및 IP 보호, 배포의 용이성등 장점이 꽤나 많습니다. 기업들이 엄청 관심 있어하는 분야죠. 이렇게 되면, 작은 디바이스에 넣어서 사용할 수 있게 되는거죠.

즉 이런 소규모 언어모델은 얼마나 더 적은 수의 파라미터를 갖고 훌륭한 '추론'능력으로 문제를 해결하냐가 경쟁 목표가 되는데요. 어제 발표한 마이크로소프트의 Orca2 모델은 100억 개 이하의 파라미터인 70억개를 갖고도 큰 규모의 언어 모델에서만 볼 수 있는 향상된 추론 능력을 보여줘 지금껏 소개된 어떤 SLM보다 우수했다는 발표입니다. 그것도 Zero-Shot 환경에서 말입니다.

여기서 잠깐!

제로샷 학습환경이 뭔지는 알고 가야죠?

이건 모델이 해당 클래스에 대한 특정 훈련을 받지 않고도 새로운 클래스의 객체를 분류할 수 있는 기법입니다. 즉 새로운 문제를 풀 수 있는 응용능력쯤 되는 거죠. 이 기술은 새로운 객체를 스스로 식별하고 분류할 수 있어야 하는 자율 시스템에 유용합니다.

구글의 PaLm이 5400억개의 파라미터를 가진것에 비하면 1% 조금 넘는데 이 정도 양으로 충분히 훌륭한 추론 결과를 낸다면 맞춤형 언어모델로는 최선이 되는 겁니다. 아마 점점 더 작고 똘똘한 놈들이 계속 나오겠죠.

그런데 어떻게 이게 가능하냐가 중요한 점인데요, 위에서 이야기 했듯 LLM은 가오나시처럼 세상에 있는 모든 데이터를 다 줏어(?)먹었다면 SLM은 딱 맞는 몸을 만들고, 체지방줄이기 위한 필요한 식단만 골라 먹였다는 겁니다.

그런데 그런 데이터가 세상에 있나요? 당연히 없죠. 없으니까 "고도로 맞춤화된 합성 데이터 세트(highly tailored synthetic dataset)"로 학습합니다. 즉 고도로 만들어진 인공합성 데이터로만 학습을 했더니 그 분야에서 짱 먹었다 이런 뜻입니다. 'Nerd'가 'Geek' 같은 애라는 뜻입니다.

어려운 수학문제는 기가 막히게 푸는 남편에게 아내가 저 봉지에 있는 감자 반만 깎아줘 했더니 봉지안에 있는 모든 감자의 상반신만 깎아놓는 반푼이 같은 남편 말이죠. 하지만 기업용, 산업용, 특수 목적으로는 기가막히게 사용할 수 있는 겁니다.

여하튼 아무거나 먹고 다 뭐든지 잘해요는 LLM인데, 난 이것만 먹고 제대로 이것만 잘하겠습니다 하는 SLM이란 것이죠.

이걸 좀 고상한 언어로 정리하면, "이번 연구 결과는 효율성과 기능의 균형을 맞춰야 하는 시나리오에서 소규모 모델의 가치를 강조하고 있습니다. 대형 모델이 계속해서 뛰어난 성능을 발휘하고 있는 가운데, Orca 2와 같은 작은 언어 모델은 배포 옵션을 다양화하는 데 중요한 진전을 이루었습니다."가 됩니다.