Meta에서 크기 대비 엄청난 성능의 Llama 3를 발표한지 얼마 안됐는데,

MS에서도 Phi 3를 발표했네요.

  • phi-3-mini (3.8B)

  • phi-3-small (7B)

  • phi-3-medium (14B)


크기에 따라 3가지로 나뉘는데, 가장 작은 모델을 발표했고, GPT-3.5에 준하는 성능이라고 합니다.

(phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench)


학습데이터도 phi-2에 사용하던 것의 확장 버전이라는데, 어떻게 가능했던걸까요?


한편, 자체적인 safety post-training을 통해 유해한 응답율도 획기적으로 줄일 수 있었다고 합니다.


  • https://huggingface.co/models?other=phi3&sort=trending&search=microsoft

  • https://arxiv.org/abs/2404.14219

Models - Hugging Face

Huggingface

Models - Hugging Face

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 4월 23일 오후 3:50

댓글 0