커리어리 친구들, 오늘 BTS의 정국이 빌보드 핫 100 1위, 앨범 200 1위, 글로벌 100 1위 한 날인가요? 동시에 3관왕을 한 최초 한국 가수입니다. 뚱딴지 같이 이 이야기를 왜 하냐구요? 인공지능 분야에서 이와 비슷한 일이 벌어졌습니다. 지난주 업스테이지가 세계 LLM 허브인 허깅페이스네서 30B의 작은 모델로 OpenLLM 리더보드 세계 1등을 달성했습니다! (지금은 라마2기반의 65B 모델 준비중) 김성훈 대표가 말하기를, OpenAI, Google, Anthropic등의 초거대 모델들이 엄청난 경쟁을 하고 있는데요. 그 뿐만 아니라 Open LLM들의 경쟁도 하루에 몇개씩 새로운 모델과 데이터셋이 나올 정도로 치열합니다. 허깅페이스의 OpenLLM 리더보드가 그 경쟁의 각축장인데요. 전세계 치열한 LLM경쟁을 제치고 업스테이지 LLM이 파인튜닝의 실력으로 당당히 1등을 차지 했습니다. (심지어 오늘 새벽 Mark Zuckerberg님이 직접 발표한 메타의 라마2 70B 큰 사이즈를 넘어섰습니다). 특히 메타와 MS 등 빅테크 기업이 만든 모델과 Stability AI, 데이터브릭스 등 글로벌 AI/LLM 대표 기업의 모델 포함, 최근 몇 달간 줄곧 1,2위를 지키던 UAE 기술혁신연구소의 ‘팰컨’ 모델과 최근 데이터브릭스가 13억 달러(약 1조 7천억원)에 인수한 모자이크ML의 모델 등 최고 성능의 AI 모델 대비 10% 가량 앞서며 평균 67점으로 1위를 차지했습니다. 저희는 30B 모델로 일등을 달성했다는 것에 매우 흥분하고 있습니다. 30B사이즈는 3090에서 서빙할수 있을 정도로 온프렘이 용이하고 서빙 비용도 상당히 저렴합니다. 30B의 활용성이 매우 많을 것으로 생각이 됩니다. Upstage는 LLM의 한국어 성능을 높이기 위해 한국어 데이터를 추가 하여 모델을 만들고 파인튜닝을 하고 있습니다. 온프렘, PrivateLLM을 구축하거나 활용하고 싶은 분들은, 이제 세계 최고의 OpenLLM을 보유한 Upstage로 연락해 보세요! 그리고 OpenLLM 리더보드에 가서 누구나 자유롭게 다운로드 받을 수 있으니 과연 위에서 말한대로 성능이 나오는지 한번 설치해 보세요 :) 🏆 OpenLLM 리더보드: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard https://bit.ly/fb-upstage-huggingface-llm