Meta에서 크기 대비 엄청난 성능의 Llama 3를 발표한지 얼마 안됐는데, MS에서도 Phi 3를 발표했네요. * phi-3-mini (3.8B) * phi-3-small (7B) * ph

Meta에서 크기 대비 엄청난 성능의 Llama 3를 발표한지 얼마 안됐는데, MS에서도 Phi 3를 발표했네요. * phi-3-mini (3.8B) * phi-3-small (7B) * phi-3-medium (14B) 크기에 따라 3가지로 나뉘는데, 가장 작은 모델을 발표했고, GPT-3.5에 준하는 성능이라고 합니다. (phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench) 학습데이터도 phi-2에 사용하던 것의 확장 버전이라는데, 어떻게 가능했던걸까요? 한편, 자체적인 safety post-training을 통해 유해한 응답율도 획기적으로 줄일 수 있었다고 합니다. * https://huggingface.co/models?other=phi3&sort=trending&search=microsoft * https://arxiv.org/abs/2404.14219