🧐 '스케일링 법칙' - 한계인가, 새로운 분기점인가

초거대 모델이라는 기술들이 발표되고, 각 모델들은 눈에 띄는 성장을 보여왔습니다.

이러한 성장의 배경엔 초거대 모델의 특징인 '스케일링의 법칙'이 있습니다. '거거익선'(클수록 좋다)이라는 표현처럼 각 모델의 가중치가 커질 수록 성능이 높아졌고, 일정 수준에서 특이점을 넘었다는 분석도 있었습니다. 하지만 이제는 그 법칙에 한계가 왔다는 평가가 많습니다.

• 데이터 품질과 다양성의 한계

• 계산 자원의 비효율성

• 모델의 표현력 포화(이미 학습 가능한 모든 패턴을 학습했기 때문에 새로운 정보가 추가되지 않는 상황)

즉 이러한 여러 이유들로 인해 모델에 '정체기'가 왔다는 것 입니다. 실제로 기업들이 이전처럼 치열한 벤치마크 경쟁으로 주목을 끌지 않습니다. 이제 '스케일링 법칙'처럼 혁신적인 AI의 발전은 없는 것일까요?

현재 초거대 모델들은 OPENAI의 o1 모델처럼 '추론'이라는 새로운 접근 방식에 집중하거나, 'AI 에이전트' 라는 복합적인 태스크를 수행할 수 있도록 방향을 잡아가고 있습니다. 이러한 접근 방식의 변화는 지금까지 설명해온 법칙과는 다르지만, 여전히 성장할 단계가 있음을 보여줍니다. 또한, '무어의 법칙'이 사실 몇 차례 수정을 있었듯이, 스케일링의 법칙 또한 앞으로 그 의의가 달라질 수 있습니다. 그렇기에 AI에 대한 단기적인 과대평가로 인해, 장기적인 과소평가를 하고 있는 것은 아닌지 지켜볼 필요가 있습니다.

"생성형 AI의 맥락에서는, 저는 개인적으로 우리가 ‘정체기에 있으면서도 동시에 정체기에 있지 않은’ 상태라고 생각합니다 - ‘안정된’ 상태가 아니기 때문이죠. 따라서, 지금 우리에게 필요한 건, 현재 상태에서 돌파구를 찾기 위한 새로운 전략, 그리고 새로운 접근법입니다." -포스트 中 발췌

• '스케일링 법칙' 한계인가, 새로운 분기점인가

https://turingpost.co.kr/p/fod-76-beyond-scaling-law

• 일리아 수츠케버 '스케일링(scaling) 법칙을 뛰어넘는 새로운 단계에 도달했다고 밝혀...'
  https://www.aitimes.com/news/articleView.html?idxno=164581