🗞️ 오픈소스 LLM계에 혜성처럼 나타나 7B 모델로 대다수의 30B+ 모델을 능가하는 성능을 보여준 Mistral AI 에서 Mixtral 이라는 MoE 모델을 공개하였습니다. MoE 모델은

🗞️ 오픈소스 LLM계에 혜성처럼 나타나 7B 모델로 대다수의 30B+ 모델을 능가하는 성능을 보여준 Mistral AI 에서 Mixtral 이라는 MoE 모델을 공개하였습니다. MoE 모델은 Mixture of Experts 라는 기법으로, GPT-4의 근간이 되는 기술인데요. 특정 태스크에 대해 성능을 높인 다수의 모델을 사용해, 사용자의 요청에 최적화된 “일부” 네트웍만을 사용해 컴퓨팅 리소스는 적게 사용하면서 성능을 극대화하는 기법입니다. Mixtral 의 특징은 다음과 같습니다. - 8개의 7B Mistral 모델을 사용하여, 전체 모델 크기는 약 56B 정도 (80G GPU x 2개 필요) - 추론시엔 2개의 네트웍을 사용하여, 컴퓨팅 코스트는 약 12B 정도 수준 - 32K 윈도우 크기를 제공 아직 공개한지 얼마되지 않아 성능 지표가 공식적으로 나온 것은 없는데요. 몇몇분들의 테스트에 의하면 주요 테스트에 대해 다음과 같은 수준의 성능을 보인다고 합니다. - MMLU: 71.7 - HellaSwag: 86.6 - GSM8K: 57.1 다음은 주요 모델들의 성능 지표인데요. (👉 라고 표시한 모델이 동일 점수) 📊 MMLU - GPT-4: 86.5 👉 Gemini Pro: 71.8 - GPT-3.5: 70 - LLaMA 2 70B: 68.9 📊 HellaSwag - GPT-4: 95.3 👉 PaLM 2-M: 86.7 - GPT-3.5: 85.5 - LLaMA 2 70B: 85.3 📊 GSM8K - GPT-4: 92 👉 GPT-3.5: 57.1 - LLaMA 2 70B: 56.8 - PaLM 540B: 56.5 테스트 방법에 따라 약간씩 다르기도 하고 아직 공신력있는 지표는 아닙니다만, 단순히 이 지표만 봤을 땐 정말 놀라운 발전이 아닐 수 없습니다. 아직 GPT-4의 수준에는 한참 못 미치긴하지만, GPT-4 모델이 100B+ 모델을 16개 사용하는 것으로 추정하고 있으니, 오픈소스 모델로 GPT-4 수준의 모델이 만들어지는 것도 아주 멀지는 않은 것이 아닌가 싶습니다. 다만, 제가 간단히 테스트 해 본 결과 한국어는 아직 요원합니다. 😭 국내에도 LLM을 연구하는 많은 회사와 단체들이 있으니, 한국어가 잘 되는 GPT-4 수준의 모델들도 빨리 나오길 기대해봅니다.