📌 Microsoft, 1비트 LLM 시대를 열다

AI 개발의 한 축을 맡고 있는 MS에서 다시 한번 AI 발전에 획을 그을 논문이 발표되었습니다. 최근 화제가 되고 있는 1비트(1.58) LLM, 이른바 양자화 LLM 입니다. Microsoft의 문서에서는 중량별 메모리 할당을 16비트에서 1.58비트로 줄여 메모리 요구 사항을 약 16배 줄이는 획기적인 접근 방식을 제안합니다. 사실 기존의 실수형(16bit) 모델을 양자화 방식의 접근으로 간소화하는 것은 계속 시도 되어왔습니다. 하지만 유사한 사이즈의 float모델과 비교하면 성능 차이가 크다는 한계가 분명했습니다. 이번 발표는 이러한 한계를 넘어, 비교 모델(LAMMA)의 성능을 웃도는 벤치마크를 보여주었기에 그 효율성을 짐작해볼 수 있습니다. 아직 모델이 일반적으로 공개되어 있지는 않지만, 발표대로 적용이 가능해진다면 온디바이스 AI의 보편화나 NPC의 객체화 등 다양한 기술이 실현되지 않을까 싶습니다. AI 서비스를 설계하는 기본 문법이 LLM을 기반으로 될 수 있다는 생각도 들게 됩니다. MS(45) : 작은 고추가 맵다 아카이브 주소: https://arxiv.org/abs/2402.17764 정보 출처: https://medium.com/@ignacio.de.gregorio.noblejas/microsoft-opens-the-era-of-1-bit-llms-9568bfc9073a https://medium.com/data-science-in-your-pocket/what-are-1-bit-llms-3f2ae4b40fdf