๐ Microsoft, 1๋นํธ LLM ์๋๋ฅผ ์ด๋ค
AI ๊ฐ๋ฐ์ ํ ์ถ์ ๋งก๊ณ ์๋ MS์์ ๋ค์ ํ๋ฒ AI ๋ฐ์ ์ ํ์ ๊ทธ์ ๋ ผ๋ฌธ์ด ๋ฐํ๋์์ต๋๋ค. ์ต๊ทผ ํ์ ๊ฐ ๋๊ณ ์๋ 1๋นํธ(1.58) LLM, ์ด๋ฅธ๋ฐ ์์ํ LLM ์ ๋๋ค. Microsoft์ ๋ฌธ์์์๋ ์ค๋๋ณ ๋ฉ๋ชจ๋ฆฌ ํ ๋น์ 16๋นํธ์์ 1.58๋นํธ๋ก ์ค์ฌ ๋ฉ๋ชจ๋ฆฌ ์๊ตฌ ์ฌํญ์ ์ฝ 16๋ฐฐ ์ค์ด๋ ํ๊ธฐ์ ์ธ ์ ๊ทผ ๋ฐฉ์์ ์ ์ํฉ๋๋ค. ์ฌ์ค ๊ธฐ์กด์ ์ค์ํ(16bit) ๋ชจ๋ธ์ ์์ํ ๋ฐฉ์์ ์ ๊ทผ์ผ๋ก ๊ฐ์ํํ๋ ๊ฒ์ ๊ณ์ ์๋ ๋์ด์์ต๋๋ค. ํ์ง๋ง ์ ์ฌํ ์ฌ์ด์ฆ์ float๋ชจ๋ธ๊ณผ ๋น๊ตํ๋ฉด ์ฑ๋ฅ ์ฐจ์ด๊ฐ ํฌ๋ค๋ ํ๊ณ๊ฐ ๋ถ๋ช ํ์ต๋๋ค. ์ด๋ฒ ๋ฐํ๋ ์ด๋ฌํ ํ๊ณ๋ฅผ ๋์ด, ๋น๊ต ๋ชจ๋ธ(LAMMA)์ ์ฑ๋ฅ์ ์๋๋ ๋ฒค์น๋งํฌ๋ฅผ ๋ณด์ฌ์ฃผ์๊ธฐ์ ๊ทธ ํจ์จ์ฑ์ ์ง์ํด๋ณผ ์ ์์ต๋๋ค. ์์ง ๋ชจ๋ธ์ด ์ผ๋ฐ์ ์ผ๋ก ๊ณต๊ฐ๋์ด ์์ง๋ ์์ง๋ง, ๋ฐํ๋๋ก ์ ์ฉ์ด ๊ฐ๋ฅํด์ง๋ค๋ฉด ์จ๋๋ฐ์ด์ค AI์ ๋ณดํธํ๋ NPC์ ๊ฐ์ฒดํ ๋ฑ ๋ค์ํ ๊ธฐ์ ์ด ์คํ๋์ง ์์๊น ์ถ์ต๋๋ค. AI ์๋น์ค๋ฅผ ์ค๊ณํ๋ ๊ธฐ๋ณธ ๋ฌธ๋ฒ์ด LLM์ ๊ธฐ๋ฐ์ผ๋ก ๋ ์ ์๋ค๋ ์๊ฐ๋ ๋ค๊ฒ ๋ฉ๋๋ค. MS(45) : ์์ ๊ณ ์ถ๊ฐ ๋งต๋ค ์์นด์ด๋ธ ์ฃผ์: https://arxiv.org/abs/2402.17764 ์ ๋ณด ์ถ์ฒ: https://medium.com/@ignacio.de.gregorio.noblejas/microsoft-opens-the-era-of-1-bit-llms-9568bfc9073a https://medium.com/data-science-in-your-pocket/what-are-1-bit-llms-3f2ae4b40fdf