📝 한국어 LLM 리더보드 호랑이

MLOps 플랫폼을 서비스하는 W&B에서 한국어 LLM 평가 호랑이 리더보드를 공개하였습니다.

이 리더보드는 멀티턴 대화 능력을 평가하는 MT-Bench 와 일본어 질의응답 능력 평가인 llm-jp-eval 을 기반으로, 각각에 대한 한국어 버전을 만들어 평가합니다.

기존에도 한국어 성능을 평가하는 벤치마크와 리더보드가 있었지만 포괄적인 평가가 되지 않아 아쉬웠는데요. 이 테스트셋으로 한국어 성능에 대한 포괄적인 평가가 가능해진 것 같습니다.

첨부 이미지는 주요 LLM들을 평가한 차트인데요. 개인적인 생각으로는, 다른 리더보드들의 차트는 경험적인 성능과 조금 다르다는 느낌이 들었는데, 이 차트는 경험적인 성능과 유사한 분포를 갖는 것으로 보입니다.

호랑이 LLM 리더보드 주소는 댓글에👇