FOD#76: '스케일링 법칙' - 한계인가, 아니면 새로운 분기점인가
Turing Post Korea
🧐 '스케일링 법칙' - 한계인가, 새로운 분기점인가
초거대 모델이라는 기술들이 발표되고, 각 모델들은 눈에 띄는 성장을 보여왔습니다.
이러한 성장의 배경엔 초거대 모델의 특징인 '스케일링의 법칙'이 있습니다. '거거익선'(클수록 좋다)이라는 표현처럼 각 모델의 가중치가 커질 수록 성능이 높아졌고, 일정 수준에서 특이점을 넘었다는 분석도 있었습니다. 하지만 이제는 그 법칙에 한계가 왔다는 평가가 많습니다.
데이터 품질과 다양성의 한계
계산 자원의 비효율성
모델의 표현력 포화(이미 학습 가능한 모든 패턴을 학습했기 때문에 새로운 정보가 추가되지 않는 상황)
즉 이러한 여러 이유들로 인해 모델에 '정체기'가 왔다는 것 입니다. 실제로 기업들이 이전처럼 치열한 벤치마크 경쟁으로 주목을 끌지 않습니다. 이제 '스케일링 법칙'처럼 혁신적인 AI의 발전은 없는 것일까요?
현재 초거대 모델들은 OPENAI의 o1 모델처럼 '추론'이라는 새로운 접근 방식에 집중하거나, 'AI 에이전트' 라는 복합적인 태스크를 수행할 수 있도록 방향을 잡아가고 있습니다. 이러한 접근 방식의 변화는 지금까지 설명해온 법칙과는 다르지만, 여전히 성장할 단계가 있음을 보여줍니다. 또한, '무어의 법칙'이 사실 몇 차례 수정을 있었듯이, 스케일링의 법칙 또한 앞으로 그 의의가 달라질 수 있습니다. 그렇기에 AI에 대한 단기적인 과대평가로 인해, 장기적인 과소평가를 하고 있는 것은 아닌지 지켜볼 필요가 있습니다.
"생성형 AI의 맥락에서는, 저는 개인적으로 우리가 ‘정체기에 있으면서도 동시에 정체기에 있지 않은’ 상태라고 생각합니다 - ‘안정된’ 상태가 아니기 때문이죠. 따라서, 지금 우리에게 필요한 건, 현재 상태에서 돌파구를 찾기 위한 새로운 전략, 그리고 새로운 접근법입니다." -포스트 中 발췌
'스케일링 법칙' 한계인가, 새로운 분기점인가
https://turingpost.co.kr/p/fod-76-beyond-scaling-law
일리아 수츠케버 '스케일링(scaling) 법칙을 뛰어넘는 새로운 단계에 도달했다고 밝혀...'
https://www.aitimes.com/news/articleView.html?idxno=164581
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 11월 24일 오후 11:43
댓글 0
함께 읽은 게시물
하늘은 스스로 돕는 자를 돕는다
인생이 게임과 다른 점을 이야기하자면, 여러 사람이 똑같은 선택을 해도 그 결과는 모두 다르다는 것이다. 현실에서는 결과에 영향을 미치는 요인이 매우 많으며, 심지어 여러 요인이 서로 복잡하게 얽혀 결과를 달라지게 만들기 때문이다. 그리고 좋은 결과로 연결된 사람들이 대체로 자신의 이야기를 공유한다. 좋지 않은 결과를 가지고 글을 쓰거나 영상을 만드는 경우가 상대적으로 많지 않다. 그래서, 온라인에서 접하는 이야기들은, 종종 달콤하지만 현실과는 동떨어진 이야기가 되고 만다.
... 더 보기SI 프로젝트의 외력을 감당하는 방법
드라마 ‘나의 아저씨’에서 故 이선균이 아이유를 위로하는 많은 이야기를 했는데 아래 ‘인생을 힘들게 하는 외력과 그것을 버텨내는 내력’도 그중 하나다.
... 더 보기
