한국 LLM 오픈소스의 희망 Upstage에서 22B 모델인 Solar Pro 프리뷰 버전을 출시했습니다. Open Weight 모델로 MIT 라이센스이니 편하게 사용 할 수 있겠습니다.

모델 성능은, 22B 의 중간 규모 사이즈이지만 MMLU-Pro, IFEval, HellaSwag 성능에 있어서 Llama 3.1 70B Instruct 모델에 육박하거나 약간 더 좋은 성능을 보여줍니다.

ARC나 GSM8K 등의 추론 능력을 평가하는 벤치에서는 상대적으로 낮은 수준이지만, 언어 능력은 70B에 육박하는 수준이기 때문에 일반적인 챗봇 시스템에 적용한다면 가성비가 뛰어난 모델로 보입니다.

특히 크기가 22B이어서 A100 80GB 단일 GPU에 양자화 없이 사용할 수 있기 때문에, 시스템 구성이 용이해서 특히 운영면에 있어서 성능 대비 가성비가 좋을 것 같습니다.

아쉬운 점은 한국 회사임에도 불구하고 영어 버전부터 공개하였다는 것인데요.(역시 조단위 투자를 받으려면 천조국으로 가긴 해야겠죠.. 🥹) 다행히 정식 버전에서는 일본어/한국어 포함를 포함하고 context length도 확장된다고 합니다.

아무튼 한국 회사가 다시 한 번 세계적으로 뛰어난 모델을 발표해서 기쁩니다. 앞으로 OpenAI를 뛰어넘는 모델도 속속 발표해주시길 기원하겠습니다. (개인적으로.. Groq에도 올려서 초빠른 API를 사용할 수 있게 해 주시면 좋겠..) 😎🍿🥤