📈'스케일링의 법칙', 그리고 엔비디아의 위기(?)

'미장은 왕이고 엔비디아는 신이야..', 이런 진심담긴 농담이 있을만큼 최근 '엔비디아'는 눈부신 성장을 해왔습니다. 이러한 성장의 배경엔 AI 업계의 성장, 그리고 초거대 모델을 중심으로한 '스케일링의 법칙'이 있습니다. 모델의 크기에 따른 성능 경쟁이 꾸준한 GPU 시장의 성장을 이끌었고, 엔비디아를 지금의 위치에 오르게 했다고 해도 과언이 아닙니다.

하지만 이러한 '스케일링 법칙'에 한계가 왔다는 주장과 함께, 엔비디아에게도 위기가 오는 것이 아닌가라는 의혹이 생겨나고 있습니다. 스케일링 법칙이 한계를 맞았다는 것은 GPU가 앞으로 더 팔리지 않는다는 것을 의미할 수 있기 때문입니다. 이런 의혹들에 대해 젠슨 황은 단호하게 답변합니다.

"아직도 모델 개발자들은 ​​사전 훈련에 더 많은 컴퓨팅과 데이터를 추가하고 있다으며, 파운데이션 모델 사전 훈련 스케일링은 온전하며 계속되고 있다"

즉, 추론을 비롯한 새로운 모델 개발 방식 또한 새로운 스케일링의 법칙이며 여전히 많은 양의 데이터와 컴퓨팅 파워가 요구되고 있다는 점을 강조하고 있습니다. 또한 블랙웰을 비롯한 아직 투입되지 않은 새로운 장비들이 어떤 변화를 가져올지도 미지수입니다.

물론 인텔,애플, 심지어 OPENAI에 이르기까지 엔비디아의 아성을 위협하는 시도들은 꾸준히 있을 것입니다. 그리고 새로운 위너가 나타날지도 모르겠습니다. 하지만 여러 의혹과 위협 중에서도 여전히 AI 업계에서 엔비디아를 제외한 대안이 없는 것도 사실입니다.(그럼 존버..?)

https://www.aitimes.com/news/articleView.html?idxno=165582