Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4
huggingface.co
🌎 국내 기업, 오픈LLM 세계 1위!!
'투디지트' 라는 국내 기업에서 허깅페이스의 Open LLM Leaderboard 1위를 달성하는 소식이 있었습니다. 해당 모델이 국내 KO-LLM Leaderboard에서 1위를 차지한 뉴스까지만 해도, '국내 데이터에 대한 성능 개선' 사례 정도로 생각했습니다.
하지만 이번 소식은 한국어에 대한 지표가 아닌 'LLM 모델 자체의 성능 지표를 크게 개선했다'는 점에서 더욱 유의미한 것 같습니다.
모델에 대한 상세한 설명은 담겨있지 않지만, 핵심 키워드로 SGD : A Study on Self-Generated Dataset creation method for DPO Learning 라는 방법을 제안하고 있습니다. 모델이 생성한 문장과 정답 문장(기존 데이터셋)을 비교하여, 기존 데이터셋에 없는 문장을 추가한다는 아이디어를 활용했다고 합니다.
리더보드의 지표를 살펴보면, 해당 모델은 HellaSwag라는 지표에서 월등한 차이를 만들어 1위를 차지하고 있습니다.
HellaSwag
목적: 상식 추론
HellaSwag는 미완성된 구절을 LLM으로 하여금 완성하게 합니다. 문맥에 따라 텍스트를 이해하고 예측하는 능력을 테스트함으로써 LLM의 상식 추론을 평가합니다.예시: 불완전한 구절이 주어지고, 주어진 문맥에서 논리적으로 이어지는 결말을 LLM이 생성해야 합니다.
아마 GAN과 같이 데이터셋의 적절한 증강이 모델의 안정성을 높이는데 영향을 주지 않았나 싶습니다. 금융 AI를 연구하던 업체에서 나온 결과라 다소 뜬금없을 수 있습니다. 하지만 LLM 모델의 근간이 되는 시계열 연구가 금융계의 오랜 숙제였던 점을 생각하면 이해가 되기도 합니다 ㅎㅎ
허깅페이스 리더보드
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
(모델명 : davidkim205/Rhea-72b-v0.5)
뉴스 기사
https://kr.aving.net/news/articleView.html?idxno=1789199
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 3월 29일 오전 9:17
댓글 0
함께 읽은 게시물
주니어 개발자들이 읽으면 좋은 테크 아티클 모음📚
F-Lab 에서 주니어 개발자들이(사실 개발자라면 누구나) 보시면 좋을 아티클 모음을 공유해 주었네요!
검색엔진부터 비동기 처리, NoSQL 등 다양한 분야의 아티클들이 공유되어 있으니 관심있으신 분들은 보시면 좋겠습니다.
F-Lab 에서 공유해주신 아티클 주제를 나열해보면 다음과 같습니다.
📌 구글이 직접 말하는 검색엔진의 원리 (tali.kr)
📌 검색 엔진은 어떻게 작동하는가 (xo.dev)
📌 네이버의 검색엔진의 특징과 알고리즘 (tistory.com)
📌 [네이버 블로그]네이버 검색의 원리 : 네이버 블... 더 보기
[Datamation] AI 데이터 분류 마스터링: 궁극의 가이드
A
... 더 보기훌륭한 데이터 분석가란 어떤 사람인가?
‘훌륭한 데이터 분석가란 어떤 사람인가?’에 대해
... 더 보기ChatGPT 버전명 설명
ChatGPT 사용할 때 어떤 모델을 선택해야할지 망설여집니다. 모델명만 봐서는 어떤게 좋은지 모르겠더라고요.
... 더 보기요즘 사람들이 가장 많이 AI를 활용하는 분야 Top 10
1
... 더 보기PM이 이해하면 좋은 지표 개념
프로덕트 매니저(PM)로 일하면서 늘 지표 이야기를 듣게 됩니다. 대부분 PM은 선행지표(leading indicator)와 후행지표(lagging indicator)의 개념을 잘 이해하고 있습니다. 하지만 선행지표에 영향을 미치는 '인풋(input) 지표, '아웃풋(o
... 더 보기
