최근에 KorMedQA 본지 얼마나 되었다고 또 괜찮은 한국어 데이터셋을 발굴했습니다. KAIST의 Users & Information Lab 에서 만든 데이터셋인 CLIcK 인데요. ML 모델이 한국 문화를 잘 알고 있어야만 답할 수 있는 QA를 1,995개 만들었습니다. (예시는 사진을 참고하세용)

우리가 요즘에 애용하는 LLM 모델들은 외국 출신인 경우가 많은데요.. ㅎㅎ 그 친구들이 한국 문화에 얼마나 잘 적응할 수 있는지 테스트해보면 유용할 것 같네요. 특히 국내 스타트업에서 국내를 대상으로 LLM 활용하여 문제를 푼다면 더 도움이 될 것 같습니다.

다만 논문에서 아쉬운 것은 13개 모델에 대해 평가가 이뤄졌는데 그 모델들이 꽤나 구식이라고 생각합니다. 한국어 특화로는 HyperCLOVA, Global SOTA 모델로는 GPT-4-turbo, Gemini가 부재한 것이 아쉽습니다. 직접 해보는 수밖에 없겠네요.

논문 링크: https://arxiv.org/abs/2403.06412