https://qwenlm.github.io/blog/qwen-moe/

Qwen1.5에 MoE를 적용한 Qwen1.5-MoE-A2.7B 모델이 나왔습니다.

학습 비용을 1/4로 줄였고, 추론 속도는 174% 개선했다고 하네요.

우연히 Qwen 7B 모델과 허깅페이스에서 채팅을 해 본적이 있었는데, 한국어 성능이 놀라울 정도로 좋았던 기억이 있습니다.

그래서 이번에도 대화를 진행해봤는데, 부족한 부분이 분명히 있지만 모델 사이즈와 중국 모델인 점을 고려하면 여전히 놀랍네요.

첨부한 이미지의 마지막 2장이 대화한 내용입니다.

https://huggingface.co/spaces/Qwen/qwen1.5-MoE-A2.7B-Chat-demo