๐ฐ Upstage, 22B ๋ชจ๋ธ Solar Pro ์ถ์
ํ๊ตญ LLM ์คํ์์ค์ ํฌ๋ง Upstage์์ 22B ๋ชจ๋ธ์ธ Solar Pro ํ๋ฆฌ๋ทฐ ๋ฒ์ ์ ์ถ์ํ์ต๋๋ค. Open Weight ๋ชจ๋ธ๋ก MIT ๋ผ์ด์ผ์ค์ด๋ ํธํ๊ฒ ์ฌ์ฉ ํ ์ ์๊ฒ ์ต๋๋ค. ๋ชจ๋ธ ์ฑ๋ฅ์, 22B ์ ์ค๊ฐ ๊ท๋ชจ ์ฌ์ด์ฆ์ด์ง๋ง MMLU-Pro, IFEval, HellaSwag ์ฑ๋ฅ์ ์์ด์ Llama 3.1 70B Instruct ๋ชจ๋ธ์ ์ก๋ฐํ๊ฑฐ๋ ์ฝ๊ฐ ๋ ์ข์ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋๋ค. ARC๋ GSM8K ๋ฑ์ ์ถ๋ก ๋ฅ๋ ฅ์ ํ๊ฐํ๋ ๋ฒค์น์์๋ ์๋์ ์ผ๋ก ๋ฎ์ ์์ค์ด์ง๋ง, ์ธ์ด ๋ฅ๋ ฅ์ 70B์ ์ก๋ฐํ๋ ์์ค์ด๊ธฐ ๋๋ฌธ์ ์ผ๋ฐ์ ์ธ ์ฑ๋ด ์์คํ ์ ์ ์ฉํ๋ค๋ฉด ๊ฐ์ฑ๋น๊ฐ ๋ฐ์ด๋ ๋ชจ๋ธ๋ก ๋ณด์ ๋๋ค. ํนํ ํฌ๊ธฐ๊ฐ 22B์ด์ด์ A100 80GB ๋จ์ผ GPU์ ์์ํ ์์ด ์ฌ์ฉํ ์ ์๊ธฐ ๋๋ฌธ์, ์์คํ ๊ตฌ์ฑ์ด ์ฉ์ดํด์ ํนํ ์ด์๋ฉด์ ์์ด์ ์ฑ๋ฅ ๋๋น ๊ฐ์ฑ๋น๊ฐ ์ข์ ๊ฒ ๊ฐ์ต๋๋ค. ์์ฌ์ด ์ ์ ํ๊ตญ ํ์ฌ์์๋ ๋ถ๊ตฌํ๊ณ ์์ด ๋ฒ์ ๋ถํฐ ๊ณต๊ฐํ์๋ค๋ ๊ฒ์ธ๋ฐ์.(์ญ์ ์กฐ๋จ์ ํฌ์๋ฅผ ๋ฐ์ผ๋ ค๋ฉด ์ฒ์กฐ๊ตญ์ผ๋ก ๊ฐ๊ธด ํด์ผ๊ฒ ์ฃ .. ๐ฅน) ๋คํํ ์ ์ ๋ฒ์ ์์๋ ์ผ๋ณธ์ด/ํ๊ตญ์ด ํฌํจ๋ฅผ ํฌํจํ๊ณ context length๋ ํ์ฅ๋๋ค๊ณ ํฉ๋๋ค. ์๋ฌดํผ ํ๊ตญ ํ์ฌ๊ฐ ๋ค์ ํ ๋ฒ ์ธ๊ณ์ ์ผ๋ก ๋ฐ์ด๋ ๋ชจ๋ธ์ ๋ฐํํด์ ๊ธฐ์ฉ๋๋ค. ์์ผ๋ก OpenAI๋ฅผ ๋ฐ์ด๋๋ ๋ชจ๋ธ๋ ์์ ๋ฐํํด์ฃผ์๊ธธ ๊ธฐ์ํ๊ฒ ์ต๋๋ค. (๊ฐ์ธ์ ์ผ๋ก.. Groq์๋ ์ฌ๋ ค์ ์ด๋น ๋ฅธ API๋ฅผ ์ฌ์ฉํ ์ ์๊ฒ ํด ์ฃผ์๋ฉด ์ข๊ฒ ..) ๐๐ฟ๐ฅค