이번 한글 및 한국어 정보처리 학술대회 (HCLT) 2023에서 "FubaoLM: 연쇄적 사고 증류와 앙상블 학습에 의한 대규모 언어 모델 자동 평가" 제목으로 우수 논문상을 수상하게 되었습니다.

최근에는 평가 메트릭이 충분치 않은 NLP task들에 대해, ChatGPT를 이용한 자동 평가가 자주 이루어지고 있습니다. 그러다보니 기존에 사람을 써서 평가하는 것보다는 효율적이지만, 그럼에도 비용이 꽤나 나가게 됩니다.

저희 팀에서도 LLM 기반으로 다양한 NLP task들을 풀고 있다보니, 최대한 평가 비용 절감을 위해서 자동 평가하는 모델을 따로 만들게 되었고, 그 결과 한국어 7B 모델로도 GPT-3.5보다 좋은 성능을 달성하게 되었습니다.

또한 이렇게 개발한 모델을 활용하여 다양한 Open Ko LLM들을 평가해보았는데요, 그 결과들도 참고하실 수 있습니다.

얼마전 8주간 인턴으로 합류하셨던 분과 같이 실제 서비스와도 연결되는 주제로 실험해서 작성했는데 좋은 결과가 있어서 뿌듯합니다.

논문: https://shorturl.at/elBLN

혹시 학회 참석하시는 분들은 제주도에서 만나 HyperCLOVA X 및 CUE 등 LLM에 관한 다양한 얘기들도 나누면 재미있을것 같습니다 :)