💶1000억원으로 gpt-3 의 3배 규모 언어모델을 만들겠다. 1000억원. 많기도 하지만 적기도 합니다. 왜일까요. 1. 부정적 뇌피셜 과연 정말 LM에만 투자하려는걸까요. 국내 투자로선 거액인 것은 사실이니만큼, 아마도 순수하게 그렇게만 투자하긴 쉽지 않고, 아마 이것저것 덧붙여지기가 쉽지 않을까요. 그렇게 차 때고 포 때고 하다보면, 아마도 실제 LM 개발에 투자되는 예산은 많지 않을텐데, 구색은 갖춰야하니 장비에도 꽤 많은 돈이 들어갈테고. 연구원 확보하려면 인건비도 꽤 들어갈테고. 그렇게 하다보면 뭔가 성과는 내야 하겠고. 그러다보면 십중팔구는 gpt 구조와 크게 다르지 않지만 파라미터만 거대하게 늘린 LM 구워내느라 시간이 많이 걸릴테지만 성과는 내야 하니 뭔가 보여주기라도 어플리케이션이나 케이스 스터디도 나와야 하겠고. 그렇게 연구원들 갈아대고 나면 어떤 연구성과가 남을 것인가. 거대 gpt 돌려봤다? 물론 개별 연구원들에게는 의미있는 경험이 될지 모르지만, 그래서 남는 건 뭘까요. LG가 그렇다는 것이 아니라 과거 국내의 많은 연구사례들이 그래왔다보니 답습하지 않았으면 하는 바람입니다. 2. 그래서 투자하지 말라는거냐 아니죠. 투자해야죠. 그러나 이건 말이죠. 자녀에게 “내가 앞으로 너에게 천만원 투자할테니 SKY 가거라” 하는 것과 다름없어 보입니다. 물론 사업이니 보여주기식 투자도 때로는 필요한 법이죠. 그러나 기술이란게 과거 새마을운동마냥 어느 날 갑자기 목표가 분명하지 않은 허상에 대고 돈뿌려 댄다고 개발되는 것이 아니라 지속적으로, 구체적인(개념적으로라도) 목표를 세워서 추진해야 한다고 생각합니다.