GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs
GitHub
마이크로소프트에서 초경량 AI 모델 BitNet b1.58 2B4T를 공개했습니다.
이름에서 알 수 있듯이 파라미터 수는 2B 입니다.
유사한(?) 파라미터 수를 가지는 SLM(sLLM)인 다음의 모델들보다 우수한 성능을 보인다고 합니다.
Llama 3.2 - 1B 모델
Gemma 3 - 2B 모델
Qwen 2.5 - 1.5B 모델
Apple M2 CPU 에서도 돌릴 수 있다고 하는데요,
전용 프레임워크(bitnet.cpp)가 필요해서 모든 컴퓨터에서 돌릴 수 있는건 아니라고 합니다.
개인적으로 이렇게 로컬환경에서 돌아가는 모델들의 발전에 더 관심이 갑니다.
한편, CPU만으로 실행 가능한 초고효율 AI 모델이라는 것이 신기하면서도, GPU를 사용하는 조금 더 큰 모델들의 성능에는 미치지 못하는 점은 큰 단점인 것 같습니다.
다만, bitnet.cpp가 NPU/GPU 지원도 고려하는 것으로 보여서, 이 효율을 유지한다면 대단한 프레임워크가 될 것 같네요.
with NPU and GPU support coming next
https://github.com/microsoft/BitNet
https://huggingface.co/microsoft/bitnet-b1.58-2B-4T
https://news.hada.io/topic?id=20406
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 4월 18일 오후 6:00
이
... 더 보기회
... 더 보기미들캡 딜 가격에도 영향을 미치고 있다. 준오헤어의 초기 매각가는 5000억원대로 거론됐다가 현재 8000억원대로 치솟았다. 블랙스톤 KKR 칼라일 등 글로벌 대형 PEF들이 관심을 보이면서 몸값이 올랐다는 게 업계의 후문이다. 한 IB 업계 관계자는 “글로벌 PEF들이 과거에는 조 단위 이상 대형 딜에만 집중했지만 최근에는 투자집행이 중요한 만큼 1조원 안팎의 거래라도 성장성이나 시너지가 있다고 판단되면 적극적으로 들여다보는 분위기”라고 전했다.
... 더 보기토
... 더 보기내가 진심으로 창업가이자 사업가로 리스펙트하고 사업피봇팅시 직접 엔젤투자를 한 홀릭스 박태영 대표가 동국대학교 캠퍼스타운이 IT동아와 함께 ‘2025년 스케일업 프로그램’에서 우리 회사가 사업 분석 컨설팅을 맡았던 포플러플래닛의 전문가 컨설팅을 맡아 진행했다. 포플러플래닛 대표님께 많은 도움이 되었을거라 믿는다.
... 더 보기“왜 나는 욱하고 말았을까?” “왜 나는 그렇게 화를 분출했을까?” 회의 중, 메신저에서, 피드백을 주고받을 때 리더의 감정 폭발은 일순간에 리더십 전체를 흔들어놓는다. 그리고 회의가 끝나고 긴장이 풀리면 리더는 ‘지적의 정당성’과는 별개로 자신의 감정적 태도를 후회하고 자책한다.
... 더 보기