🙏 AI 계의 아이돌 Andrej Karpathy의 말씀을 또 하나 전하러 왔습니다. “I pretty much only trust two LLM evals right now: Chatbot A

🙏 AI 계의 아이돌 Andrej Karpathy의 말씀을 또 하나 전하러 왔습니다. “I pretty much only trust two LLM evals right now: Chatbot Arena and r/LocalLlama comments section” Chatbot Arena는 체스 랭킹처럼, 챗봇끼리 경쟁시켜서 Elo 점수로 랭킹을 매기는 리더보드입니다. r/LocalLlama 는 레딧의 Llama 모델 관련 채널이구요. 저도 동일하게 생각해서 벤치마크 점수는 참고 정도로만 보고, 전체적으로 어느정도 수준인가를 확인할 땐 이 Elo 랭킹을 봅니다. LLM이 워낙 넓은 범위의 능력을 커버하기 때문에, 그리고 그래야 진정한 의미가 있기 때문에, 아주 좁은 태스크의 일부만을 평가하는 일반적인 벤치마크는 큰 의미가 없다고 생각하기 때문입니다. 첨부 이미지는 현재의 Elo 랭킹인데요. 중요하다고 생각하는 모델에 형광펜을 칠해두었으니 한 번 살펴보시면 재밌으실 것 같습니다. BTW, 한국의 Upstage의 모델인 SOLAR도 꽤 높은 순위를 차지하고 있네요. 게임의 민족인만큼, 이 리더보드에 한국의 모델들이 대거 순위권으로 올라가길 기대해봅니다. 🙂