🌎 국내 기업, 오픈LLM 세계 1위!!

'투디지트' 라는 국내 기업에서 허깅페이스의 Open LLM Leaderboard 1위를 달성하는 소식이 있었습니다. 해당 모델이 국내 KO-LLM Leaderboard에서 1위를 차지한 뉴스까지만 해도, '국내 데이터에 대한 성능 개선' 사례 정도로 생각했습니다. 하지만 이번 소식은 한국어에 대한 지표가 아닌 'LLM 모델 자체의 성능 지표를 크게 개선했다'는 점에서 더욱 유의미한 것 같습니다. 모델에 대한 상세한 설명은 담겨있지 않지만, 핵심 키워드로 SGD : A Study on Self-Generated Dataset creation method for DPO Learning 라는 방법을 제안하고 있습니다. 모델이 생성한 문장과 정답 문장(기존 데이터셋)을 비교하여, 기존 데이터셋에 없는 문장을 추가한다는 아이디어를 활용했다고 합니다. 리더보드의 지표를 살펴보면, 해당 모델은 HellaSwag라는 지표에서 월등한 차이를 만들어 1위를 차지하고 있습니다. HellaSwag * 목적: 상식 추론 HellaSwag는 미완성된 구절을 LLM으로 하여금 완성하게 합니다. 문맥에 따라 텍스트를 이해하고 예측하는 능력을 테스트함으로써 LLM의 상식 추론을 평가합니다. * 예시: 불완전한 구절이 주어지고, 주어진 문맥에서 논리적으로 이어지는 결말을 LLM이 생성해야 합니다. 아마 GAN과 같이 데이터셋의 적절한 증강이 모델의 안정성을 높이는데 영향을 주지 않았나 싶습니다. 금융 AI를 연구하던 업체에서 나온 결과라 다소 뜬금없을 수 있습니다. 하지만 LLM 모델의 근간이 되는 시계열 연구가 금융계의 오랜 숙제였던 점을 생각하면 이해가 되기도 합니다 ㅎㅎ * 허깅페이스 리더보드 https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard (모델명 : davidkim205/Rhea-72b-v0.5) * 뉴스 기사 https://kr.aving.net/news/articleView.html?idxno=1789199