<국내 AI 스타트업이 주목해야 할 비즈니스 모델>

새해 첫 IT 소식은 Nvidia가 AI 하드웨어 인프라 관리와 최적화를 지원하는 이스라엘 스타트업 Run:AI를 약 7억달러(약 1조 300억원)에인수했다는 뉴스입니다.

Run:ai는 2018년에 설립되어 현재 약 140명 규모로 AI 인프라 최적화를 위한 쿠버네티스 기반 워크로드 관리 및 오케스트레이션 소프트웨어를 개발해 왔습니다.

여기서 AI 인프라 최적화라는게 어떤 것인지를 잠시 설명드릴게요.

1. 최적화에는 GPU 자원과 AI 기술 투자 대비 효율을 극대화하는게 목표인데요.

- 이걸 보통 기업에서는 Dev, DevOps, AIOps에 맡기어 놓은데, 사실 거의 최적화 솔루션을 찾는것은 불가능합니다. 데이터는 매일 매일 쏟아져 들어오죠, 각각 팀이 자기네들 일이 제일 중요하고 급하다고 하죠, 이걸 세팅하기위한 파라미터는 수백 수천에 가깝고...ㅎㅎㅎ

2. 일단 AI 인프라를 최적화/극대화하기 위해서는

- 각 부서나 팀 간에 리소스가 분리되어 있는 협업 효율을 높이고

- GPU 자원이 할당되었지만 활용되지 않는 경우가 빈번한데, 일반적으로 팀에서는 리소스 확보 불안으로 과도한 GPU 할당(오버프로비저닝)을 균형있게 관리하고

- AI 훈련, 추론 등 다양한 워크로드가 동적 자원 배분을 요구하는게 일반 상황을 콘트롤 해야하고

- 리소스 할당순위와 비즈니스 우선순위와 맞지 않아 시장 출시가 지연되는 경우가 있어 이것을 해결해야 합니다.

3. Run:AI는 어떤 어마어마한 기술을 가진 기업이 아니라, 현재 이런 활용상황을 분석해서 그것을 이렇게 이용하면 좋아요라고 지속적으로 제안을 해줍니다. 유식한 말로 바꾸어 하면 다음과 같이 3가지 정도입니다.

- GPU 오케스트레이션 : 필요에 따라 GPU 자원을 동적으로 할당하고, 팀간 GPU 쉐어링을 하게 합니다.

- 이런 현재 상황을 모니터링 가능한 비주얼라이제이션 대시보드를 제공하구요.

- Jupyter Notebooks와 TensorRT 등 다양한 툴 및 프레임워크 연계하고 NVIDIA AI Enterprise 등과 연동해 소프트웨어 생태계를 강화했습니다.

그저 Run:AI는 현재 상황을 잘 보여주고, 이렇게 쓰는게 좋아요. 스케쥴링 해 줄까요를 제안하고 그것에 따라 Nvidia 파라미터를 맞춰주는 역할입니다. 이런 기업이 1조기업이 되었네요. 당연히 AI 프로덕트, 솔루션을 개발하는 주로 대기업이면 관심을 안가질 수가 없답니다. 맨날 스케일을 늘려달라고 하는 엔지니어링의 요구를 들어주다간 기업 주머니가 가벼워지니 당연히 효율을 찾을 수 밖에 없거든요.

저는 국내의 AI 스타트업들도 이런 곳에 관심과 노력을 기울여야 성공할 수 있다고 생각합니다. 그저 모두가 하는 워크프로세스 파이프라인을 붙여서 부가가치를 창조하는 시대는 지났다고 생각해서요. 정작 pain points는 매우 간단한 곳에 있거든요.

여기서 Nvidia의 인수의 묘기가 하나 나오는데요.

현재 Run:AI 솔루션은 Nvidia 인프라에서만 동작하는데, 이렇게 인수합병을 진행해 버리면 독과점 소송에서 자유롭기 힘들기에, 이 솔루션이 오픈 소스로 공개될 것이라고 밝혔습니다. 이는 AMD와 인텔 같은 엔비디아의 경쟁사들이 자사의 하드웨어에 적용할 수 있다는 의미입니다. 뭐 이렇다고 해서 AMD와 인텔 인프라에 쉽게 쓸 수 있다는 이야기는 절대 아니겠지만요. ㅎㅎ 이런 접근법으로 미국 법무부, 유럽연합 집행위원회의 무조건적인 승인과 함께 완료되었답니다.