📝 6년 전 2018년, LLM의 시초격인 BERT와 Llama 3와의 비교.

지금의 LLM이 있게 한 구글의 Transformer 아키텍처를 이용한 (거의)최초의 범용 거대 언어 모델인 BERT는, 약 40억개의 토큰으로 약 1억개의 파라미터(base 기준)를 가진 모델입니다.

Llama 3의 기본 모델이라고 할 수 있는 70B는 70억개의 파라미터를 가진 모델을 15조개의 토큰으로 학습시킨 모델이죠.

BERT 대비 Llama 3의 파라미터는 약 700배, 학습데이터는 약 3,750배입니다. 😳🤯

Llama 3의 제일 작은 버전만 해도 80억개로 약 74배나 되는 크기입니다.

그런데 BERT가 처음 나왔을 때만해도 이것도 크다면서 모두가 최적화에 매진했는데요. 그 중 가장 유명한 ALBERT의 베이스 모델이 약 1천 2백만개로, Llama 3 8B와 비교하면 약 666배가 됩니다. (아..악마의 수!!)

Llama 모델이 아닌 다른 모델 들 중 지금으로써 가장 작은 모델들이 약 1~2B 정도인데요. 그것만 해도 약 10~20배가 됩니다. 그리고 이것들은 모바일에서 쌩쌩 돌아가죠. 😅

그러니까 6년전만해도 대규모 언어 모델이라고 불렸던 것이, 지금은 모바일 버전의 1/10밖에 안되는 모델이 되었다는 것이죠.

그리고 GPT-3가 처음 나왔을 때 175B이라고 해서 미친거 아냐? 소리가 절로 나왔는데, 지금은 음. 뭐 퀀타이제이션해서 좀 무리하면 맥북 최고 사양 정도면(?) 돌릴 수 있는.. 그런 것이 되었죠.

그러니 10년은 커녕 5년 뒤도 예측 할 수 없는게 지금의 기술 업계인 것 같습니다. 이럴 때 일수록 미래를 예측하려하기보다 그냥 하고 싶은 일을 하는게 맞는게 아닌가 싶습니다.