다시 돌아올 ChatGPT 열풍의 끝자락에서, 센세이션이 폭발하기 전의 역사를 돌아봅니다. 오랜 연구를 거쳐 등장한 대규모 언어 모델 중 가장 세련된 중간산출물이 생성AI이기 때문에 전문가들은 ‘이제 겨우 시작이다’라고 얘기를 해요. 말마따나 적어도 45년 정도의 연구가 쌓였는데요. MIT테크리뷰에서 이를 핵심만 정리했습니다. 열기는 가라앉아가고 있지만 다시 돌아올 붐을 준비하기 시작하기 위해 한번 읽어보셔도 좋겠습니다. 1980~1990: RNN ChatGPT는 OpenAI에서 개발한 대규모 언어 모델인 GPT-3의 한 버전입니다. 대규모 언어 모델(이하 LLM)은 수많은 텍스트에 대해 훈련된 일종의 신경망입니다(신경망은 동물 두뇌의 뉴런이 서로 신호를 보내는 방식에서 영감을 얻은 소프트웨어입니다). 텍스트는 다양한 길이의 문자와 단어의 시퀀스로 구성되므로 언어 모델에는 이러한 종류의 데이터를 이해할 수 있는 일종의 신경망이 필요합니다. RNN은 신경망 종류 중 하나고요. 1997년 개발된 LSTM은 수백 단어 길이의 텍스트 문자열을 처리할 수 있어서 그나마 가장 뛰어났지만 언어 능력은 제한적이었습니다. 2017: 트랜스포머 사실 대규모 언어 모델 세대는 구글 덕분에 눈부시게 발전했습니다. 구글 연구원 팀이 각 단어나 구문이 순서대로 나타나는 위치를 추적할 수 있는 트랜스포머를 발견한 덕분입니다. 트랜스포머는 단어의 앞뒤에 오는 다른 단어 등의 정보를 추적해서 긴 텍스트 문자열을 처리하고 단어의 의미를 보다 정확하게 포착할 수 있게 만듭니다. 2018~2019: GPT 및 GPT-2 OpenAI의 처음 두 개의 대규모 언어 모델은 불과 몇 달 간격으로 출시되었습니다. 이 회사는 다양한 기술을 갖춘 범용 AI를 개발하기를 원하며 대규모 언어 모델이 해당 목표를 향한 핵심 단계라고 믿습니다. GPT는 사전에 주석이 추가되지 않은 데이터(이 경우에는 수많은 텍스트)에 대해 머신러닝 모델을 훈련하는 방법인 ‘비지도 학습’과 트랜스포머를 결합했습니다. 덕분에 ChatGPT는 스스로 데이터 패턴을 파악할 수 있게 됐고요. 데이터 세트 크기도 무제한으로 학습할 수 있습니다. GPT-2의 경우 오픈AI가 “사람들을 속이고 편견을 재생산하며 혐오를 조장하는 언어를 퍼뜨릴 수 있기 때문에 전체 모델을 공개하지 않을 것”이라고 했습니다. 2020: GPT-3 GPT-2는 인상적이었지만 OpenAI의 후속작인 GPT-3은 입이 떡 벌어질 정도였습니다. 인간과 유사한 텍스트를 생성하는 능력은 큰 발전이었습니다. GPT-3는 질문에 답변하고, 문서를 요약하고, 다양한 스타일로 스토리를 생성하고, 영어, 프랑스어, 스페인어, 일본어 간 번역 등을 수행할 수 있습니다. 제법 잘 흉내를 냈죠. GPT-3의 경우 새로운 기술을 발명하기보다는 기존 기술을 초대형화함으로써 나왔습니다. GPT-2의 매개변수(훈련 중 조정되는 네트워크 값) 개수(15억 개)에 비해 훨씬 많은 매개변수(1,750억 개)를 사용했습니다. 데이터 양도 훨씬 많았습니다. 그러나 ChatGPT는 온라인에 있는 허위 정보, 편견어린 시각 등을 상당 부분 교육 받아서, 이를 재생산했습니다. 오픈AI도 “인터넷으로 훈련한 모델은 인터넷 규모의 편견을 갖게 된다”고 인정했습니다. 2020년 12월: 유해한 텍스트 및 기타 문제 이제는 규제의 시간입니다. 대규모 언어 모델이 허위 정보, 혐오스러운 텍스트를 재생산할 수 있다는 사실은 누구나 알고 있습니다. ChatGPT를 사용하는 모든 개인과 조직은 규제를 숙지하고 가이드라인을 따라 안전하고 현명하게 새로운 도구를 사용할 수 있어야 합니다. 앞으로 우리에게 주어진 새로운 과제라고 볼 수 있습니다.