๐ LLM์ ํจ์จ์ ์ธ๊ฐ์ ๋๋ ์์ค์ผ๋ก ์ฌ๋ฆด ์ ์๋ค๊ณ
ํด๋น ์ฐ๊ตฌ์์๋ LLM์์ MatMul์ ์ ๊ฑฐํ๋ ๋ฐฉ๋ฒ์ ๊ณ ์ํ๊ณ , ์ด๋ฅผ ์์ ํ ์ ๊ฑฐํจ์ผ๋ก์จ 13W์์ 10์ต ๋งค๊ฐ๋ณ์ ๊ท๋ชจ์ ๋ชจ๋ธ์ ์ฒ๋ฆฌํ์ฌ ํจ์จ์ ์ธ๊ฐ์ ๋๋ ์์ค์ผ๋ก ์ฌ๋ฆด ์ ์๋ค๊ณ ์ฃผ์ฅํฉ๋๋ค. ๋ํ ์ด๋ฅผ ์ด์ฉํ๋ฉด ํ๋ จ ์๋๊ฐ 25.6% ํฅ์๋๊ณ ๋ฉ๋ชจ๋ฆฌ ์๋น๋ 61% ๊ฐ์, ์ถ๋ก ์์๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ 10๋ฐฐ๊น์ง ๊ฐ์์ํฌ ์ ์๋ค๊ณ ํ๋๋ฐ์. LLM ์ถ๋ก ์ ์ต์ ํํ๋ BitNet ๊ฐ์ ์ฐ๊ตฌ๋ค์ด ๋ง์ด ๋์ค๊ณ ์์ง๋ง, ์ค์ ๋ก ์ฌ์ฉํ์ ๋ ์ฑ๋ฅ์ด ์๋์ค๊ฑฐ๋ ์ ์ฉ์์ ์์ ์ด ํฌ์ง ์์ ๊ฒฝ์ฐ๊ฐ ๋ง์๋๋ฐ์. ๊ณผ์ฐ ์ด ์ฐ๊ตฌ๋ ์ด๋ค ๊ฒฐ๋ง(?)์ ๋ง์์ง ๊ถ๊ธํฉ๋๋ค. ๋ค๋ฅธ ์ฐ๊ตฌ๋ค๋ ๊ทธ๋ ๊ธด ํ์ง๋ง, ์ด ์ฐ๊ตฌ๋ ์ ๋ง ์ ๋๋ก ์๋ํ๋ค๋ฉด ๊ฒ์ ์ฒด์ธ์ ๊ฐ ๋ ์ ์๊ณ , ๋ฌด์๋ณด๋ค Nvidia ์ฃผ์์ด ์ํ.. ๐คฃ ๋ ผ๋ฌธ ๋งํฌ ๐ https://arxiv.org/abs/2406.02528