🌎 2년 내 LLM 학습 데이터 고갈...

최근 LLM모델을 보면 MoE(Mixture of Experts) 방식을 채택한 경우가 많이 보입니다. 전문가 방식이라고 불리는 이 기법은, 하나의 대형 신경망이 아닌 다수의 전문가 신경망을 결합해서 쓰는 방식입니다. 규모의 법칙 대신에 이러한 효율적인 기법들이 계속해서 등장하는 이유로 '컴퓨팅 자원의 한계 및 비용 감소'가 많이 언급됩니다.

하지만 그 배경에는 중요한 이슈가 하나 더 있습니다. 바로 '학습 데이터의 고갈' 문제입니다. 글로벌 LLM 모델을 보유한 기업들을 보면 하나같이 SNS 플랫폼을 보유하였거나, 보유한 기업을 친구(?)로 두고 있습니다 ㅎㅎ 이번에 상장한 reddit의 3대 주주가 OpenAI의 샘 알트먼이라는 사실도 비슷한 맥락으로 보입니다. 그런데 이러한 수많은 플랫폼의 데이터들도 커져가는 LLM 모델의 수요를 만족하기에는 한계가 있는 듯 합니다.

앞으로 이 문제를 해결하고자 '데이터 증강 및 정제 고도화, 모델 최적화' 등의 시도가 있을 것이고, 구글의 트랜스포머를 잇는 새로운 기준이 되지 않을까 싶습니다.

요약 : 먹을 수 있는 손톱이 줄어든 쥐PT

https://www.aitimes.com/news/articleView.html?idxno=158463