๋ฌด์ง์ฅ ํ๋ค์์ง๋ง ๋ฌด์ง์ฅ ์ฑ์ฅํ ๊ฐ๋ฐ ์ด์ผ๊ธฐ
Medium
๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ์ฑ๋ฅ์ ๊ฐ๋จํ ์ฆ๊ฐ์ํค๋ ๋ฐฉ๋ฒ์ผ๋ก ์์ด์ ํธ์ ์๋ฅผ ํ๋ํ๊ณ ์ํ๋ง ๋ฐ ํฌํ ๋ฐฉ์์ ์ ์ฉํ๋ ๋ฐฉ๋ฒ์ ์ ์ํ๋ ๋ ผ๋ฌธ์ ๋๋ค.
์ด ๋ฐฉ๋ฒ์ ๊ธฐ์กด์ ๋ณต์กํ ๋ฐฉ๋ฒ๋ค๊ณผ๋ ๋ฌ๋ฆฌ ๊ฐ๋จํ๋ฉด์๋ ๋ ๋ฆฝ์ ์ธ ๋ฐฉ๋ฒ์ผ๋ก, ๋ค์ํ ์์ ์์, ํนํ ์ด๋ ค์ด ๋ฌธ์ ์ธ ์ํ๊ณผ MMLU๋ฑ์ ์์ ์์ ํฐ ์ฑ๋ฅ ํฅ์์ ๋ณด์ฌ์ค๋๋ค.
๋ฐฉ๋ฒ์ ๊ฐ๋จํ๋ฐ์. ๊ธฐ๋ณธ์ ์ธ ์์ด๋์ด๋ ์ฌ๋ฌ๊ฐ์ ๋ต๋ณ์ ์์ฑํ ํ, ๋ชจ๋ ์์ฑ ๊ฒฐ๊ณผ ํ์ด์ ๋ํด ์ ์ฌ๋๋ฅผ ๊ณ์ฐ ํ ํ, ์ ์ฌ๋์ ํฉ์ด ๊ฐ์ฅ ๋์ ๋ต๋ณ์ ์ ํํ๋ ๋ฐฉ๋ฒ์ ๋๋ค.
Self-Consistency ์ ์ ์ฌํ ๋ฐฉ๋ฒ์ด์ง๋ง, ํ๋กฌํํ ๊ณผ ํฌํ ๋ฐฉ๋ฒ์ด ํจ์ฌ ๊ฐ๋จํ๊ณ , Zero Shot CoT๋ Debate, Reflection ๋ฑ์ ๋ค๋ฅธ ํ๋กฌํํ ๊ธฐ๋ฒ๊ณผ ๋ณํํ๋ฉด Llama๋ GPT-3.5๋ก๋ GPT-4 ์์ค์ ์ฑ๋ฅ์ ๋ง๋ค์ด ๋ผ ์๋ ์๋ค๊ณ ํฉ๋๋ค.
๋ค๋ง, ์ํ๋ง์ 5~10๋ฒ ์ ๋๋ ์งํํด์ผ ๋์ ์์ค์ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์๊ธฐ ๋๋ฌธ์, ์์ ๋ชจ๋ธ๋ก ๋ณ๋ ฌ์ฒ๋ฆฌ๋ฅผ ํ๋ ๊ฒ์ด ์ ๋ฆฌํ ๊ฒฝ์ฐ์๋ง ํจ๊ณผ์ ์ผ๋ก ์ฌ์ฉ ํ ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค.
ํน์ ๋๋ฑํ ์์ค์ ๋ค์ํ ์์ ๋ชจ๋ธ๋ค์ ๋ณ๋ ฌ ์ฒ๋ฆฌํ์ฌ ์ ์ฌ MoE(Mixture-of-Experts) ๋ฐฉ์์ผ๋ก ๋์ ์ฑ๋ฅ์ ์๋น์ค๋ฅผ ํ ์๋ ์์ํ ๋ฐ์. ์ด๋ ๊ฒํ๋ฉด P2P ๋ฐฉ์์ผ๋ก ํ์ค์ํ๋ ๊ณ ์ฑ๋ฅ์ AI๋ฅผ ๋ง๋ค ์๋ ์์ง ์์๊น ์ถ์ต๋๋ค.
๐ ๋ ผ๋ฌธ ๐ https://arxiv.org/pdf/2402.05120.pdf
๐๐ปโโ๏ธ ํ๋กฌํํธ ์์ง๋์ด๋ง ๐ https://fastcampus.co.kr/data_red_golbin
๋ค์ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด?
์ด๋ฏธ ํ์์ด์ ๊ฐ์?
2024๋ 2์ 9์ผ ์ค์ 4:09
๊ฐ๋ง์ ์ฌ๋ฐ๊ฒ ์ฝ์ ๊ธฐ์ ํฌ์คํธ
... ๋ ๋ณด๊ธฐ์
... ๋ ๋ณด๊ธฐ