๐ ์คํ์์ค LLM์ ์ง์ ์๋นํ๋ ๊ฑด ๋น์ธ๋ค
์ต๊ทผ์ ์์ ๋ชจ๋ธ์ ์คํ์์ค LLM์ ์ฑ๋ฅ์ด ์ข์์ง๊ณ , ๋งฅ์์๋ ์ฌ์ฉ์ด ๋๋ค๊ณ ํ๊ณ ๊ทธ๋ฌ๋๊น ์ญ์ ์คํ์์ค๊ฐ ๊ฐ์ฑ๋น ์งฑ์งฑ๋งจ! ์ด๋ฌ์ง๋ง ์ค์ ๋ก ๊ณ์ฐํด๋ณด๋ฉด ์คํ์์ค๋ฅผ ์ง์ ์๋นํ๋ ๊ฑด ๋งค์ฐ ๋น์ธ๋ค. Llama-3 70B๋ฅผ A100์์ ๋๋ฆฌ๋ฉด 20TPS ์ ๋ ๋์ค๋๋ฐ, ๊ทธ๋ฌ๋ฉด ์๊ฐ๋น 8๋ง ํ ํฐ์ ๋. A100 80GB ์๋ฒ ํธ์คํ ๊ฐ๊ฒฉ์ ์๊ฐ๋น ์ฝ USD $3 ์ ๋์ด๋ค. ๊ทธ๋ฐ๋ฐ Llama-3 70B์ API๋ก ์๋น์คํ๊ณ ์๋ ๊ณณ๋ค์ ๋๊ฐ ์ญ๋ง ํ ํฐ๋น $0.1๊ฐ ์๋๊ฒ ๋น์ฉ ์ฑ ์ ์ด ๋์ด ์๋ค. ์์ฉ API์ ๋น๊ตํ๋ค๊ณ ํด๋, ์ ์ฌํ ์ฑ๋ฅ์ธ Sonnet์ ํ๊ท ๋น์ฉ์ด ์ญ๋ง ํ ํฐ๋น ์ฝ $1, ํ์กด ์ต๊ฐ์ธ GPT-4 Turbo๋ $2 ์ ๋๊ฐ ๋๋ค. (Input/Output๋ฅผ ๋จ์ ํ๊ท ๋ธ ๊ฒ์ผ๋ก, ์ค ์ฌ์ฉ์์๋ ๋ณดํต ์ด๋ณด๋ค ๋ฎ๋ค) ๊ฒ๋ค๊ฐ ํ์๊ฐ ๋ด๋ด ์ฌ์ง ์๊ณ ์ถ๋ ฅํ์ ๋์ ๋น์ฉ์ด๊ณ , ๊ทธ๋ ๊ฒ ํ๋ฉด ํ ๋ฒ์ ํ ์ฌ๋๋ง ์ธ ์ ์๋ค.(๊ณ ๋์ ์ ํ์ ์ผ๋ก ํธ์คํ ํ๊ณ ์๋ BBS์ ๊ฐ..) ์ฆ, ์๋๋ ๋ฌผ๋ก ํจ์จ์ฑ๊ณผ ๊ด๋ฆฌ ์ธก๋ฉด์์๋ ์ผ๋ฐ์ ์ผ๋ก ๋ณ๋ก ์ข์ ์ ํ์ด ์๋๋ค. ๋ฌด์๋ณด๋ค LLM ๋ชจ๋ธ์ ์ ๋๋ก ์๋น ํ ์ ์๋ ๊ธฐ์ ์ ๊ฐ์ถ ์์ง๋์ด์ ์ธ๊ฑด๋น๋ ํฌํจํ์ง๋ ์์๋ค. ๊ทธ๋ฌ๋ ๋น์ฉ ์ต์ ํ ๊ด์ ์ผ๋ก ์คํ์์ค LLM์ ์ง์ ์ฌ์ฉํ๊ฒ ๋ค๋ ์๊ฐ์ ๋ฒ๋ฆฌ๋๊ฒ ์ข๋ค.