Ilya Sutskever, 학습 데이터의 고갈과 AI Pre-Training의 종말에 대한 언급
www.linkedin.com
Sutskever는 NeurIPS 2024에서, 인터넷에서 얻을 수 있는 고품질 데이터가 점점 고갈되고 있다는 ‘Peak Data’ 개념을 제시했어요. 🚀
이 개념을 바탕으로 "이제 학습 데이터는 고갈했으며, 거대 언어 모델의 Pre-training 시대는 끝났다고 선언" 했어요. 이는 화석 연료가 고갈되면 더이상 화력 발전을 할 수 없는 것처럼, 학습에 사용할 수 있는 추가적인 데이터가 없다면 Pre-training 중심의 AI 기술 개발이 새로운 도전에 직면 할 수 있음을 강조하는 언급이었는데요. 📖
https://www.linkedin.com/pulse/ilya-sutskever-%ED%95%99%EC%8A%B5-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%9D%98-%EA%B3%A0%EA%B0%88%EA%B3%BC-ai-pre-training%EC%9D%98-%EC%A2%85%EB%A7%90%EC%97%90-%EB%8C%80%ED%95%9C-%EC%96%B8%EA%B8%89-sunghyon-kyeong-dvdvc/?trackingId=qMhDRtEdHcqJMnxfRtxLIg%3D%3D
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 1월 5일 오전 3:05