📚AI가 제인 오스틴을 배우는 속도

1. NYT가 재미있는 실험을 했습니다. 2. 독자들에게 GPT와 같은 대규모 언어모델(Large Language Model, LLM)이 어떻게 작동하는지를 효과적으로 설명하기 위해, 영미권의 유명한 텍스트들을 재료로 삼아 AI가 학습하고 모방하는 방식을 단계별로 보여줍니다. 3. 이를테면 , 등으로 유명한 제인 오스틴의 글들을 BabyGPT라고 명명된 작은 모델에 학습시키고 얼마나 시간이 지나야 AI가 그럴듯한 글을 쓰는지를 측정한 것입니다. (제인 오스틴이 생전에 남긴 저작의 전체 규모는 약 80만 단어 정도입니다.) 4. BabyGPT는 처음에는 아이폰이나 크롬에서 생성하는 강력한 암호 정도에서나 볼 법한 무작위 글자들을 내뱉습니다. 그런데 노트북 컴퓨터에서 약 30초간 250번 정도 반복 학습을 하더니 ABC를 배운 것 같이 행동합니다. 문장은 말이 안 되지만, 이게 알파벳은 아는구나 정도는 알 수 있는 수준입니다. 5. 30초 더 학습해서 1분간 총 500회 반복을 하니 실수가 줄어듭니다. 이제는 중간중간 she, say, this 같은 기본적인 영어 단어들이 보입니다. 6. 10분 동안 총 5,000회 학습을 반복하자 BabyGPT는 이제 문장의 형태를 갖춰 말하기 시작합니다. 전체적인 맥락은 이상하지만, 이게 영어 문장인지는 확실히 알 수 있습니다. 7. 한 시간 동안 총 30,000회 반복학습을 한 후 BabyGPT는 이제 완전한 문장을 이야기합니다. 1시간 만에 알파벳도 모르던 모델이 제인 오스틴의 스타일로 문장구조를 갖춰 이야기하고 있습니다. 8. 1시간이 지난 후부터 BabyGPT의 영어 능력은 더이상 크게 나아지지 않습니다. 학습을 위해 필요한 재료인 제인 오스틴의 텍스트가 80만 자로 한정되어 있기 때문입니다. 9. AI의 학습은 데이터와 시간의 함수입니다. GPT-3와 같은 대형 모델은 BabyGPT보다 100만 배 더 큰 단어로 학습되었기 때문에 더 정교한 언어를 구사할 수 있습니다. 그리고 BabyGPT가 평범한 랩톱 대신 더 고성능의 컴퓨팅 파워를 사용했다면 1시간보다 더 적은 시간이 소요되었을 것입니다. 10. NYT는 셰익스피어, 모비딕, 스타트렉, 해리포터 등 제인 오스틴과 마찬가지로 약 100만 단어 내외 규모의 텍스트로 이뤄진 학습 데이터를 바탕으로 AI가 학습한 결과도 동시에 제공하고 있습니다. 본인이 좋아하는 텍스트를 학습한 AI가 얼마만큼의 속도로 영어를 배우는지 한 번쯤 확인해보셔도 좋을 것 같네요. (본인의 영어학습 속도와 비교해서 너무 자괴감은 갖질 마시길 바랍니다😅) #NYT #테크트렌드읽기