마이크로소프트 Phi-4 소형 언어모델 발표 및 벤치 결과
최근 Phi-4 14B 모델을 마이크로소프트에서 공개했습니다.
점점 모델들의 가성비가 좋아지는게 보입니다.
저는 기존에도 Qwen 2.5 32B 모델 부터 성능이 눈에 띄게 좋아졌다고 생각하여
GPT와 함께 병행하여 로컬 환경에서도 적극 활용하고 있는데요
Qwen 2.5 발표 후 3개월만에 그에 근접한 성능의 더 경량화된 모델이 나온게 놀랍습니다.
해외 유튜버들의 사용 현황을 체크해 보니
코드 생성 성능도 준수하여 벤치가 과장된 것은 아닌 모양.
기존에는 개인 PC에서 유의미한 결과물을 내려면
GTX 3090, 4090급, 혹은 x2 병렬 수준의 그래픽카드가 필요했으나
3060급의 메인스트림 이하 라인에서 로컬 모델을 활용할 수 있는
시대가 오는게 느껴지고 있습니다.
(그림 2 스팀 GPU 점유율 참고)
점점 로컬 자원을 사용하여 LLM을 활용하는 데스크탑 앱들도 등장하게 되겠네요.
단, 하드웨어를 판매하는 엔비디아 입장에선 더 적은 자원으로 동작하는 모델들이 속속 등장하는게 반길 일은 아닐것입니다. 추후에 재미삼아서 이 얘기도 한번 해보면 좋겠네요.
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 12월 18일 오전 3:57
댓글 0
함께 읽은 게시물
스몰 데이터(Pandas)에서 빅 데이터(Spark)로!
데
... 더 보기-
-
건강을 항상 돌봐주세요.
오랜기간 개발이라는 업을 헤쳐나가면서 건강 관리를 소홀히 하였습니다. "젋으니까 괜찮아", "아직은 그럴 아니야", "귀찮아", "나 건강해" 저도 이런 말을 항상 버릇처럼 말을 하며 주변의 걱정을 애써 무마 시켰고, 아직은 괜찮아 라고 자기 합리화를 하였습니다.
... 더 보기좋은 개발자가 되고 싶어서 기술을 열심히 익혔어요.
새로운 프레임워크가 나오면 바로 써보고,
더 효율적인 아키텍처를 고민하며 코드를 다듬기도 했어요.
네이버에서 HyperCLOVA X SEED 모델을 오픈가중치로 공개했군요. 3B, 1.5B, 0.5B 모델로 공개했는데요.
네이버에서 공개한 벤치마크상으로는 Qwen과 구글의 Gemma 등을 뛰어넘는 성능을 보인다고 합니다.
점점 더 ChatGPT에게 물어봤더니 이건 이렇다더라하는 사람들이 많아지고 있다. 문제는 이런 행동이 빠르게 증폭된다는 것이다.
AI를 사용할 수록 점점 더 자신의 생각을 AI에게 외주 주게 되고, 어느 순간부터는 자신도 모르게 AI의 말을 의심없이 믿게 되는 순간이 온다.
