언어 모델 트렌드에 대한 향후 기대

근래 언어 모델의 흐름은 크게 ChatGPT로 대변되는 초거대 LLM과 sLLM 진영으로 구분된다. sLLM은 국내에서 만든 조어로 보이며, 초거대 언어 모델 LLM 앞에 small을 붙인 표현이다. Large Language Model 앞에 small이 붙은 이 표현은 사뭇 모순적으로 보이지만, 초거대 언어 모델의 파라미터 등을 기하급수로 줄여 효율성을 도모한다는 점에서 기존 LLM과 다른 맥락을 보인다. 이 진영의 대표주자가 말도 많고 탈도 많은 메타인데, 최근 모델(LLaMa)이 유출되면서 Geek들 사이에서 화두가 되었다. GPT 대비 훨씬 작은 사이즈임에도 높은 퍼포먼스를 보이고 있으며, 개인 PC 레벨에서도 돌아갈 수 있다는 점에 큰 호응을 얻고 있다. 현재 sLLM은 LLaMA와 Alpaca를 거쳐 Vicuna 등 여러 variation이 있고, 퍼포먼스도 꽤 훌륭한 것으로 밝혀졌다. 이러한 소형 모델 컨셉이 보안을 고려하여 사내 인트라넷 레벨에서 사용될 것이하는 전망들이 있다. 여러 한계를 극복하며 초거대모델은 계속해서 성장해 나갈 것이다. 성장의 상단을 정확히 가늠할 수는 없지만, 잘못된 정보 제공이나 오류는 그 갭을 점차 줄여나갈 것이고, 완전하지 않더라도 이를 이용하는 고객들은 온전하지 않았던 구글 검색의 결과를 감수했듯, 에러를 감수하며 이를 이용할 것이다. 다만 이 초거대지능이 시대의 또 하나의 큰 축인 초개인화를 지원하기까지는 많은 시간이 소요될 것으로 보인다. ‘나에게 최적화된 agent‘의 개념이 거대한 LLM의 프롬프트 수준에서 해결이 가능할지, 그 결과값이 얼마나 정교할지에는 의문이 있다. 그리고 개인적으로는 이 영역에서 sLLM에 거는 기대가 있다. sLLM이 개별 레벨의 취향이나 대화 데이터들을 style transforming한다면, 개별 레벨에서 나를 대변해줄 수 있는 효율적인 거대 언어모델로 진화가 가능하다. 이것들을 개별 PC에서 시도할 수 있지만, 낮은 리소스의 서버레벨에서 대응할 수도 있다. 당장 개별 레벨의 대응이 어렵다면 고객을 cohort로 분류하고 각 cohort를 중심으로 fine tune하여 대응할 수도 있다.(초거대모델이 개별레벨로 fine-tune하는 것은 잘 상상이 가질 않는다.) cohort를 넘어 궁극의 그림은 개별레벨에서의 모델을 구축하는 것이다. 이렇게 된다면 Agent가 온전히 나의 톤앤 매너로 메시지를 보내고 전화를 하는 등 다양한 경험이 가능해진다. 내용에 대한 컨펌은 인간이 하지만, 어느 순간부터는 컨펌만 하면 되는 매니저와 같은 일상이 될지도. 이젠, 아주아주 먼 이야기 만은 아닌 것 같다. 궁극에는 이러한 개별 레벨을 관리하거나 조력하는 상위 레벨의 초거대 모델이 있는, 모델 간의 hierarchy가 구축된 그림인데, 흡사 메트릭스 영화와 같은 모습이 상상된다. 개인이 그다지 동질적이지 않을 것이라는 기대 하에 초개인화의 승자를 결정하는 것은 결국 개별데이터이다. ChatGPT로 대변되는 LLM의 선점에서 이를 대응하는 기존 플레이어들은 데이터 Legacy를 통해 본인 영역의 데이터를 지켜가며 싸워야 한다. LLM은 외형의 확장이라는 본인의 역할을 충실히 하는 가운데, 개별 레벨을 이해하기 위해 노력할 것이고, sLLM은 반대의 노력을 기울여 갈 것이다. 결국 고객이 당장 체감하는 영역으로 손을 들어줄 것인데, Winner takes it all일지 공존일지 개인적으로도 흥미진진하다. #AI #인공지능 #초거대모델 #LLM #sLLM