마이크로소프트에서 초경량 AI 모델 BitNet b1.58 2B4T를 공개했습니다. 이름에서 알 수 있듯이 파라미터 수는 2B 입니다. 유사한(?) 파라미터 수를 가지는 SLM(sLLM)인 다음의

마이크로소프트에서 초경량 AI 모델 BitNet b1.58 2B4T를 공개했습니다. 이름에서 알 수 있듯이 파라미터 수는 2B 입니다. 유사한(?) 파라미터 수를 가지는 SLM(sLLM)인 다음의 모델들보다 우수한 성능을 보인다고 합니다. * Llama 3.2 - 1B 모델 * Gemma 3 - 2B 모델 * Qwen 2.5 - 1.5B 모델 Apple M2 CPU 에서도 돌릴 수 있다고 하는데요, 전용 프레임워크(bitnet.cpp)가 필요해서 모든 컴퓨터에서 돌릴 수 있는건 아니라고 합니다. 개인적으로 이렇게 로컬환경에서 돌아가는 모델들의 발전에 더 관심이 갑니다. 한편, CPU만으로 실행 가능한 초고효율 AI 모델이라는 것이 신기하면서도, GPU를 사용하는 조금 더 큰 모델들의 성능에는 미치지 못하는 점은 큰 단점인 것 같습니다. 다만, bitnet.cpp가 NPU/GPU 지원도 고려하는 것으로 보여서, 이 효율을 유지한다면 대단한 프레임워크가 될 것 같네요. * with NPU and GPU support coming next * https://github.com/microsoft/BitNet https://huggingface.co/microsoft/bitnet-b1.58-2B-4T https://news.hada.io/topic?id=20406