"... 한국어판 GPT-3 필요성에 대해 하 연구소장은 'GPT-3와 같은 트랜스포머는 현재 자연어처리 분야 모델링 대부분을 대체했다. 오픈AI의 CLIP과 DALL·E와 같이 이미지는 물론 음성인식, 합성에까지 영역을 넓혀 성과를 내고 있다'고 설명했다. GPT-3 데이터 대부분이 영어에 치우친 점도 한국어 기반 대규모 AI 모델이 필요한 이유다. 하 연구원은 '현재 인터넷상 언어 중 영어가 60% 정도인데, GPT-3가 사용한 데이터에서는 92.7%에 달한다'고 강조했다. 대규모 AI 모델 구현 관건은 대용량 데이터와 컴퓨팅 인프라에 있다. GPT-3는 175억개 파리미터, 5000억개 단어를 학습했다. 컴퓨팅 장치로는 MS 지원으로 GPU 1만장을 사용했다. ..." 네이버 정도의 거대 IT 인프라가 아니라면, 누가 이런 시도를 할 수 있을까요? 한국어 데이터 기반의 GPT-3가 조만간 대중에 모습을 드러낼 수 있기를 기대합니다. GPT-3를 살펴보신 분은 아시겠지만, 이 거대한 신경망 모델은 Few-shot Learning으로 대표되는 기법을 통해 사실상 파라미터의 재학습 없이도 엄청나게 유연하게 컨텍스트 스위칭을 구사할 수 있죠. AI 윤리에 대한 진중한 고민을 함께 품은 팀에서 이러한 엣지를 개척해나간다는 점도 고무적인 것 같습니다.