📰 Upstage, 22B 모델 Solar Pro 출시

한국 LLM 오픈소스의 희망 Upstage에서 22B 모델인 Solar Pro 프리뷰 버전을 출시했습니다. Open Weight 모델로 MIT 라이센스이니 편하게 사용 할 수 있겠습니다.


모델 성능은, 22B 의 중간 규모 사이즈이지만 MMLU-Pro, IFEval, HellaSwag 성능에 있어서 Llama 3.1 70B Instruct 모델에 육박하거나 약간 더 좋은 성능을 보여줍니다.


ARC나 GSM8K 등의 추론 능력을 평가하는 벤치에서는 상대적으로 낮은 수준이지만, 언어 능력은 70B에 육박하는 수준이기 때문에 일반적인 챗봇 시스템에 적용한다면 가성비가 뛰어난 모델로 보입니다.


특히 크기가 22B이어서 A100 80GB 단일 GPU에 양자화 없이 사용할 수 있기 때문에, 시스템 구성이 용이해서 특히 운영면에 있어서 성능 대비 가성비가 좋을 것 같습니다.


아쉬운 점은 한국 회사임에도 불구하고 영어 버전부터 공개하였다는 것인데요.(역시 조단위 투자를 받으려면 천조국으로 가긴 해야겠죠.. 🥹) 다행히 정식 버전에서는 일본어/한국어 포함를 포함하고 context length도 확장된다고 합니다.


아무튼 한국 회사가 다시 한 번 세계적으로 뛰어난 모델을 발표해서 기쁩니다. 앞으로 OpenAI를 뛰어넘는 모델도 속속 발표해주시길 기원하겠습니다. (개인적으로.. Groq에도 올려서 초빠른 API를 사용할 수 있게 해 주시면 좋겠..) 😎🍿🥤

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2024년 9월 12일 오전 12:32

댓글 0

    함께 읽은 게시물

    기본적으로 알아야 할 머신러닝 알고리즘 10

    머신러닝을 공부하면서 늘 헤깔리는 것중에 하나가 알고리즘 부문인 거 같습니다. 마침, 이 알고리즘을 깔끔하게 정리한 글이 있어 공유해 봅니다. 데이터 영역에 관심있는 분들 뿐만 아니라 머신러닝이나 AI에 관심있는 분들은 원문을 꼭 일독하시길 강추(!)합니다~^^ 📜 지도학습 👉 선형회귀, 로지스틱 회귀, K-최근접 이웃, 나이브 베이즈, 결정 트리, 랜덤 포레스트, XG부스트, 라이트GBM, 📜 비지도학습 👉 K-평균 군집화, 주성분 분석(PCA) 🔔 선형 회귀(Linear Regression) 🚩 문제 유... 더 보기

    확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT

    요즘IT

    확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT

     • 

    저장 96 • 조회 3,658


    < 서비스를 중독성 있게 만드는 결정적 원리 >

    1. 진통제이면서 비타민이어야 한다.

    ... 더 보기

    데이터 분석가의 뇌구조가 궁금하다면?

    ... 더 보기

    AI(LLM) 애플리케이션의 발전 속도가 AI 지능(능력)의 발전 속도를 따라가지 못하고 있는 상태가 되었다. 즉, 이제 AI가 부족한 것이 문제가 아니라, AI의 능력을 100% 활용하지 못하고 있는 것이 문제인 상태가 되었다는 이야기.


    IT 회사의 업무에서, 지금까지는 디자이너와 특히 개발자가 병목이었는데, 대 AI 시대에는 기획자가 병목이 될 수도 있겠다. 조금이라도 규모가 있는 기업에서의 가장 큰 병목은 보통 의사결정자라는 것을 생각해보면 그렇다.


    즉, 실무보다 의사결정을 AI에게 맡기는 것이 병목을 해소할 수 있는 가장 확실한 방법이며, 그러므로 부장님과 사장님을 AI로 대체하는 것이야말로 인류의 번영을 위한 가장 빠른 지름길이다. (아님. 아니 맞나?!)

     • 

    저장 1 • 조회 2,093


    데이터 드리븐 리포트 (1)

    책 [데이터 드리븐 리포트]를 읽고 757

    ... 더 보기