커리어리 친구들, 오늘은 마이크로소프트와 엔비디아의 5,300 억개 파라미터를 포함한 초거대한 AI를 소개하겠습니다. 이 초거대한 AI 기반 언어 모델인 Megatron-Turing Natural Language Generation(MT-NLP)을 훈련했다고 발표했습니다.
양사는 Turing NLG 17B 및 Megatron-LM 모델의 후속 제품인 MT-NLP에는 5,300억 개의 파라미터가 포함되어 있으며 독해, 상식적인 추론 및 이해를 포함한 광범위한 자연어 작업 집합에서 "비할 데 없는" 정확도를 달성했다고 합니다.
참으로 거대합니다. GPT-3 가 얼마전까지 무려 1,750억개의 파라미터를 가지고 있으며 인간이 평생 보는 정보보다 많은 데이터를 학습해서 놀라웠는 데, 이젠 5,300억개라니 엄청납니다. 다음 번에는 조 단위 파라미터를 넘길 것으로 예상됩니다. 더 자세한 내용은 기사 링크를 봐 주세요!