해당 연구에서는 LLM에서 MatMul을 제거하는 방법을 고안하고, 이를 완전히 제거함으로써 13W에서 10억 매개변수 규모의 모델을 처리하여 효율을 인간의 두뇌 수준으로 올릴 수 있다고 주장합니다.

또한 이를 이용하면 훈련 속도가 25.6% 향상되고 메모리 소비는 61% 감소, 추론시에는 메모리를 10배까지 감소시킬 수 있다고 하는데요.

LLM 추론을 최적화하는 BitNet 같은 연구들이 많이 나오고 있지만, 실제로 사용했을 때 성능이 안나오거나 적용시의 잇점이 크지 않은 경우가 많았는데요. 과연 이 연구는 어떤 결말(?)을 맞을지 궁금합니다.

다른 연구들도 그렇긴 하지만, 이 연구는 정말 제대로 작동한다면 게임 체인저가 될 수 있고, 무엇보다 Nvidia 주식이 위험.. 🤣

논문 링크 👉 https://arxiv.org/abs/2406.02528