최근 Mistral AI가 공개한 Mixtral 8X7B 모델이 핫한데요.
Mixtral에 대해서는 https://news.hada.io/topic?id=12296 에 잘 요약되어 있는 것 같습니다.
Mistral AI에서는 모델도 오픈소스로 배포했지만 플랫폼 장사도 이제 시작했습니다. (https://mistral.ai/news/la-plateforme/)
Mistral-tiny: Mistral 7B Instruct v0.2 모델
Mistral-small: Mixtral 8x7B-v0.1 모델
Mistral-medium은 현재 비공개
추가로 mistral-embed 라는 임베딩 모델도 제공.
참고로 Mixtral 8x7B 모델은 https://labs.perplexity.ai/ 의 playground에서도 테스트 해볼 수 있습니다.
GPT-4도 유출된 내용에서 166B 모델 8개를 묶은 MoE 방식으로 구동되는것으로 알려졌었는데, Mixtral 모델로도 증명이 된듯해서 pretrain 모델은 이제 Mixture of Experts (MOE)로 대세가 되지 않을까 싶네요.
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 12월 16일 오전 8:33