Ilya Sutskever, 학습 데이터의 고갈과 AI Pre-Training의 종말에 대한 언급
www.linkedin.com
Illy Sutskever, 학습 데이터의 고갈에 대한 이야기...
Sutskever는 NeurIPS 2024에서, 인터넷에서 얻을 수 있는 고품질 데이터가 점점 고갈되고 있다는 ‘Peak Data’ 개념을 제시했어요. 🚀
이 개념을 바탕으로 "이제 학습 데이터는 고갈했으며, 거대 언어 모델의 Pre-training 시대는 끝났다고 선언" 했어요. 이는 화석 연료가 고갈되면 더이상 화력 발전을 할 수 없는 것처럼, 학습에 사용할 수 있는 추가적인 데이터가 없다면 Pre-training 중심의 AI 기술 개발이 새로운 도전에 직면 할 수 있음을 강조하는 언급이었는데요. 📖
https://www.linkedin.com/pulse/ilya-sutskever-%ED%95%99%EC%8A%B5-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%9D%98-%EA%B3%A0%EA%B0%88%EA%B3%BC-ai-pre-training%EC%9D%98-%EC%A2%85%EB%A7%90%EC%97%90-%EB%8C%80%ED%95%9C-%EC%96%B8%EA%B8%89-sunghyon-kyeong-dvdvc/?trackingId=qMhDRtEdHcqJMnxfRtxLIg%3D%3D
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 1월 5일 오전 3:05
댓글 0
함께 읽은 게시물
제가 리드하고 있는 조직(당근마켓 커뮤니티실)에서 백엔드 엔지니어를 채용 중이에요.
커뮤니티실에는 동네 이웃들의 이야기와 정보를 공유하는 동네생활팀, 이웃 간의 취미와 관심사를 연결하는 모임팀, 그리고 아파트 단지 생활을 더 편리하고 즐겁게 만들어 줄 단지팀이 있어요. 지금 내 동네에서 일어나고 있는 일들을 더 쉽게 즐기고 공유할 방법들을 찾는 일이라면 무엇이든 도전하여 실행에 옮겨요. 만드는 사람이 불편할수록 쓰는 사람은 편하다는 믿음으로 도전적인 문제를 풀어나갈 분과 함께하고자 해요.
... 더 보기고난이 사람을 키운다
태초에 모든 동물은 바다에서 살았다. 바다가 동물이 살기 좋은 환경이었던 것이다. 그런데, 동물 사이에 먹이 사슬이 형성되었고, 힘이 없는 동물들은 척박한 곳으로 밀려났다. 그곳이 바로 강이다. 처음에는 강에서 살기 힘들었지만, 성공적으로 적응하는 동물들이 생겨났고, 그래서 강에도 생태계가 형성되었다.
... 더 보기
