GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs
GitHub
마이크로소프트에서 초경량 AI 모델 BitNet b1.58 2B4T를 공개했습니다.
이름에서 알 수 있듯이 파라미터 수는 2B 입니다.
유사한(?) 파라미터 수를 가지는 SLM(sLLM)인 다음의 모델들보다 우수한 성능을 보인다고 합니다.
Llama 3.2 - 1B 모델
Gemma 3 - 2B 모델
Qwen 2.5 - 1.5B 모델
Apple M2 CPU 에서도 돌릴 수 있다고 하는데요,
전용 프레임워크(bitnet.cpp)가 필요해서 모든 컴퓨터에서 돌릴 수 있는건 아니라고 합니다.
개인적으로 이렇게 로컬환경에서 돌아가는 모델들의 발전에 더 관심이 갑니다.
한편, CPU만으로 실행 가능한 초고효율 AI 모델이라는 것이 신기하면서도, GPU를 사용하는 조금 더 큰 모델들의 성능에는 미치지 못하는 점은 큰 단점인 것 같습니다.
다만, bitnet.cpp가 NPU/GPU 지원도 고려하는 것으로 보여서, 이 효율을 유지한다면 대단한 프레임워크가 될 것 같네요.
with NPU and GPU support coming next
https://github.com/microsoft/BitNet
https://huggingface.co/microsoft/bitnet-b1.58-2B-4T
https://news.hada.io/topic?id=20406
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 4월 18일 오후 6:00
댓글 0
함께 읽은 게시물
AI 시대에 갈피 못잡던 구글의 역습
실
... 더 보기사모펀드 운용사 ‘ATU파트너스’가 4인조 여성 밴드 ‘큐더블유이알(QWER)’, 콘텐츠 크리에이터 ‘김계란’,‘진용진’ 등을 보유한 디지털 콘텐츠·엔터테인먼트 기업 ‘쓰리와이코프레이션(3Y)’의 경영권을 인수했다고 29일 밝혔다.
... 더 보기🎯 유튜브에 100번째 코딩 테스트 문제 풀이 영상을 올렸습니다!
지
... 더 보기
