LLM은 한국어를 그대로가 아닌 영어로 번역해서 이해한다.

우리(한국인)들은 영어를 읽거나 말할 때 항상 한국어로 번역을 하는 과정을 거칩니다. 머릿속에서 한국어로 생각이 이뤄지기 때문이죠. 아니라구요? 당신은 굉장히 영어를 잘하는 사람일거에요. ^^

이와 비슷하게 LLM이 어떻게 Multilingualism을 가질 수 있는지 분석해본 논문을 하나 보게 되었습니다. Alibaba의 연구에 따르면, 초반 layer에서 translation을 도맡아서 하는 뉴런이 존재하고 이 뉴런이 input text를 영어로 번역하는 과정을 발견했다고 하였습니다. 굉장히 흥미롭지 않나요?

그래서 한국어로 LLM을 넣어주는 것보다 미리 번역기를 통해 영어로 번역하고 넣어주는게 성능이 좋았던 걸까요? 그러면 translation을 위한 layer도 reasoning에 활용할 수 있지 않을가 하는 생각을 해보았습니다.

논문 링크: https://arxiv.org/abs/2402.18815