๐ AI ๊ณ์ ์์ด๋ Andrej Karpathy์ ๋ง์์ ๋ ํ๋ ์ ํ๋ฌ ์์ต๋๋ค. โI pretty much only trust two LLM evals right now: Chatbot A
๐ AI ๊ณ์ ์์ด๋ Andrej Karpathy์ ๋ง์์ ๋ ํ๋ ์ ํ๋ฌ ์์ต๋๋ค. โI pretty much only trust two LLM evals right now: Chatbot Arena and r/LocalLlama comments sectionโ Chatbot Arena๋ ์ฒด์ค ๋ญํน์ฒ๋ผ, ์ฑ๋ด๋ผ๋ฆฌ ๊ฒฝ์์์ผ์ Elo ์ ์๋ก ๋ญํน์ ๋งค๊ธฐ๋ ๋ฆฌ๋๋ณด๋์ ๋๋ค. r/LocalLlama ๋ ๋ ๋ง์ Llama ๋ชจ๋ธ ๊ด๋ จ ์ฑ๋์ด๊ตฌ์. ์ ๋ ๋์ผํ๊ฒ ์๊ฐํด์ ๋ฒค์น๋งํฌ ์ ์๋ ์ฐธ๊ณ ์ ๋๋ก๋ง ๋ณด๊ณ , ์ ์ฒด์ ์ผ๋ก ์ด๋์ ๋ ์์ค์ธ๊ฐ๋ฅผ ํ์ธํ ๋ ์ด Elo ๋ญํน์ ๋ด ๋๋ค. LLM์ด ์๋ ๋์ ๋ฒ์์ ๋ฅ๋ ฅ์ ์ปค๋ฒํ๊ธฐ ๋๋ฌธ์, ๊ทธ๋ฆฌ๊ณ ๊ทธ๋์ผ ์ง์ ํ ์๋ฏธ๊ฐ ์๊ธฐ ๋๋ฌธ์, ์์ฃผ ์ข์ ํ์คํฌ์ ์ผ๋ถ๋ง์ ํ๊ฐํ๋ ์ผ๋ฐ์ ์ธ ๋ฒค์น๋งํฌ๋ ํฐ ์๋ฏธ๊ฐ ์๋ค๊ณ ์๊ฐํ๊ธฐ ๋๋ฌธ์ ๋๋ค. ์ฒจ๋ถ ์ด๋ฏธ์ง๋ ํ์ฌ์ Elo ๋ญํน์ธ๋ฐ์. ์ค์ํ๋ค๊ณ ์๊ฐํ๋ ๋ชจ๋ธ์ ํ๊ดํ์ ์น ํด๋์์ผ๋ ํ ๋ฒ ์ดํด๋ณด์๋ฉด ์ฌ๋ฐ์ผ์ค ๊ฒ ๊ฐ์ต๋๋ค. BTW, ํ๊ตญ์ Upstage์ ๋ชจ๋ธ์ธ SOLAR๋ ๊ฝค ๋์ ์์๋ฅผ ์ฐจ์งํ๊ณ ์๋ค์. ๊ฒ์์ ๋ฏผ์กฑ์ธ๋งํผ, ์ด ๋ฆฌ๋๋ณด๋์ ํ๊ตญ์ ๋ชจ๋ธ๋ค์ด ๋๊ฑฐ ์์๊ถ์ผ๋ก ์ฌ๋ผ๊ฐ๊ธธ ๊ธฐ๋ํด๋ด ๋๋ค. ๐