최근 Phi-4 14B 모델을 마이크로소프트에서 공개했습니다.
점점 모델들의 가성비가 좋아지는게 보입니다.

저는 기존에도 Qwen 2.5 32B 모델 부터 성능이 눈에 띄게 좋아졌다고 생각하여

GPT와 함께 병행하여 로컬 환경에서도 적극 활용하고 있는데요

Qwen 2.5 발표 후 3개월만에 그에 근접한 성능의 더 경량화된 모델이 나온게 놀랍습니다.

해외 유튜버들의 사용 현황을 체크해 보니

코드 생성 성능도 준수하여 벤치가 과장된 것은 아닌 모양.

기존에는 개인 PC에서 유의미한 결과물을 내려면

GTX 3090, 4090급, 혹은 x2 병렬 수준의 그래픽카드가 필요했으나

3060급의 메인스트림 이하 라인에서 로컬 모델을 활용할 수 있는

시대가 오는게 느껴지고 있습니다.

(그림 2 스팀 GPU 점유율 참고)

점점 로컬 자원을 사용하여 LLM을 활용하는 데스크탑 앱들도 등장하게 되겠네요.

단, 하드웨어를 판매하는 엔비디아 입장에선 더 적은 자원으로 동작하는 모델들이 속속 등장하는게 반길 일은 아닐것입니다. 추후에 재미삼아서 이 얘기도 한번 해보면 좋겠네요.