마이크로소프트에서 초경량 AI 모델 BitNet b1.58 2B4T를 공개했습니다.


이름에서 알 수 있듯이 파라미터 수는 2B 입니다.

유사한(?) 파라미터 수를 가지는 SLM(sLLM)인 다음의 모델들보다 우수한 성능을 보인다고 합니다.

  • Llama 3.2 - 1B 모델

  • Gemma 3 - 2B 모델

  • Qwen 2.5 - 1.5B 모델


Apple M2 CPU 에서도 돌릴 수 있다고 하는데요,

전용 프레임워크(bitnet.cpp)가 필요해서 모든 컴퓨터에서 돌릴 수 있는건 아니라고 합니다.


개인적으로 이렇게 로컬환경에서 돌아가는 모델들의 발전에 더 관심이 갑니다.


한편, CPU만으로 실행 가능한 초고효율 AI 모델이라는 것이 신기하면서도, GPU를 사용하는 조금 더 큰 모델들의 성능에는 미치지 못하는 점은 큰 단점인 것 같습니다.


다만, bitnet.cpp가 NPU/GPU 지원도 고려하는 것으로 보여서, 이 효율을 유지한다면 대단한 프레임워크가 될 것 같네요.

  • with NPU and GPU support coming next

  • https://github.com/microsoft/BitNet


https://huggingface.co/microsoft/bitnet-b1.58-2B-4T

https://news.hada.io/topic?id=20406

GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs

GitHub

GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2025년 4월 18일 오후 6:00

 • 

저장 3조회 2,750

댓글 0

    함께 읽은 게시물

    📺'뤼튼'의 이상한 광고, 만든 사람에게 직접 의도를 들어봤습니다

    ... 더 보기

    “이래도 되나?” – 뤼튼의 이상한 광고 만들기 – 제일 매거진

    magazine.cheil.com

    “이래도 되나?” – 뤼튼의 이상한 광고 만들기 – 제일 매거진


    미들캡 딜 가격에도 영향을 미치고 있다. 준오헤어의 초기 매각가는 5000억원대로 거론됐다가 현재 8000억원대로 치솟았다. 블랙스톤 KKR 칼라일 등 글로벌 대형 PEF들이 관심을 보이면서 몸값이 올랐다는 게 업계의 후문이다. 한 IB 업계 관계자는 “글로벌 PEF들이 과거에는 조 단위 이상 대형 딜에만 집중했지만 최근에는 투자집행이 중요한 만큼 1조원 안팎의 거래라도 성장성이나 시너지가 있다고 판단되면 적극적으로 들여다보는 분위기”라고 전했다.

    ... 더 보기

    글로벌 PEF의 미들캡 공습…설 자리 좁아지는 토종 PEF

    n.news.naver.com

    글로벌 PEF의 미들캡 공습…설 자리 좁아지는 토종 PEF

    조회 352


    ⟪토스가 만든 리서치툴, TNS⟫

    ... 더 보기

    토스가 특허 낸 리서치툴, TNS (Toss Navigation Score) 제작기

    toss.tech

    토스가 특허 낸 리서치툴, TNS (Toss Navigation Score) 제작기

     • 

    저장 3 • 조회 697


    내가 진심으로 창업가이자 사업가로 리스펙트하고 사업피봇팅시 직접 엔젤투자를 한 홀릭스 박태영 대표가 동국대학교 캠퍼스타운이 IT동아와 함께 ‘2025년 스케일업 프로그램’에서 우리 회사가 사업 분석 컨설팅을 맡았던 포플러플래닛의 전문가 컨설팅을 맡아 진행했다. 포플러플래닛 대표님께 많은 도움이 되었을거라 믿는다.

    ... 더 보기

    [스케일업] 포플러플래닛 [1] 홀릭스 “큰 시장만 좇지 말고 브랜드 강점 내세워 돌파해야”

    동아일보

    [스케일업] 포플러플래닛 [1] 홀릭스 “큰 시장만 좇지 말고 브랜드 강점 내세워 돌파해야”

    “왜 나는 욱하고 말았을까?” “왜 나는 그렇게 화를 분출했을까?” 회의 중, 메신저에서, 피드백을 주고받을 때 리더의 감정 폭발은 일순간에 리더십 전체를 흔들어놓는다. 그리고 회의가 끝나고 긴장이 풀리면 리더는 ‘지적의 정당성’과는 별개로 자신의 감정적 태도를 후회하고 자책한다.

    ... 더 보기

    “왜 나는 오늘도 또 욱하고 화냈을까” [김성회의 리더십 코칭]

    n.news.naver.com

    “왜 나는 오늘도 또 욱하고 화냈을까” [김성회의 리더십 코칭]