NVIDIA는 게임용 그래픽 카드를 전문으로 하던 시절부터 많은 발전을 이루었습니다.

NVIDIA GPU는 이제 엔터프라이즈용 생성 AI의 강력한 기능을 제공합니다. 3월 18일부터 21일까지 캘리포니아 산호세에서 열린 엔비디아 GTC 2024에서 생성형 AI는 챗봇부터 아트 설치까지 모든 곳에 존재했습니다. 다음은 올해 NVIDIA GTC에서 본 최고의 기술 동향입니다. 프레젠테이션 주제, 기조연설 및 NVIDIA CEO Jensen Huang의 Q&A, 그리고 쇼 플로어에서 계속해서 등장한 기술을 의미합니다.

1. 검색-증강 생성

검색 증강 생성은 인공지능 "호루케이션" 또는 부정확성을 줄이기 위한 기술로 청구되어, 생성적 인공지능 모델이 연구 논문이나 기사와 같은 외부 자원과 비교하여 작업을 확인할 수 있도록 합니다. RAG는 생성된 콘텐츠의 신뢰성을 높이기 때문에 엔터프라이즈 고객에게 어필합니다.

2. 스토리지 및 컴퓨팅 요구사항 증가를 위한 "AI 공장"

NVIDIA GTC의 많은 조직들은 기업들이 사설 AI를 만드는 데 필요한 스토리지와 컴퓨팅 성능에 액세스할 수 있도록 하는 "AI 공장"으로 자리매김했습니다. 자사의 AI 공장 서비스를 'GPUaaS'라고 부르는 넥스젠 클라우드는 올해 말 엔비디아의 10조 파라미터 블랙웰 GPU에 대한 접근성을 제공할 업체 중 하나입니다. 10조 개의 매개변수 작업에는 많은 컴퓨팅이 필요하며, 조직은 고객에게 적절한 컴퓨팅 성능을 제공하는 것을 통해 비즈니스 모델을 만들 수 있다고 확신하고 있습니다.

구글 클라우드의 컴퓨팅 및 AI/ML 인프라 담당 부사장 겸 총괄 매니저인 Mark Lohmeyer는 "이러한 모델이 점점 더 커지고 기하급수적으로 성장함에 따라, 규모가 큰 사람들을 위해 훈련, 미세 조정 및 서비스를 제공하거나 추론을 제공하는 데 필요한 인프라도 이러한 문제를 해결하기 위해 계속 성장해야 합니다."라고 말했습니다.

2024년 3월에 발표된 가트너의 연구에 따르면 2023년 10월부터 12월까지 조사된 459개 기술 서비스 제공업체 중 83%가 조직 내에서 생성형 AI를 구축했거나 시범 운영 중인 것으로 나타났습니다.

3. 엣지 AI

에지 AI에 초점을 맞춘 조직은 엔비디아 GTC 2024에서 로봇, 자동차, 산업, 창고, 의료, 중요 시스템 및 소매 등 다양한 사용 사례로 쇼 플로어의 상당 부분을 차지했습니다. 이러한 엣지 AI 사용 사례의 대부분은 엔비디아의 로봇 공학용 젯슨 플랫폼에 의해 구동되었습니다. 젯슨 오린의 엔비디아 메트로폴리스 마이크로서비스를 사용하면 개발자가 API 호출을 사용하여 에지에서 생성 AI 기능을 설정하여 로봇이 환경에 보다 반응하고 유연하게 사용할 수 있습니다. 예를 들어, 기조연설에서 엔비디아 CEO 젠슨 황(Jensen Huang)은 장애물을 중심으로 자동으로 경로를 변경하는 창고 로봇의 시연을 보여주었습니다.

4. 기업용 프라이빗 AI

조직은 ChatGPT와 같은 공개 AI의 유연성을 제공하면서 독점 데이터에 안전하게 액세스할 수 있는 민간 생성 AI를 회전시키기 위해 노력하고 있습니다. 개인 AI 서비스의 쇼플로어에서 일반적인 이름은 미스트랄 AI로, 고객이 자신의 서버에서 호스팅할 수 있는 오픈 소스 대규모 언어 모델을 제공합니다.

5. 코파일럿

코파일럿은 새로운 것이 아닙니다. 결국 ChatGPT와 같은 챗봇은 생성적인 AI 붐을 일으켰습니다. 그 이후로 "코파일럿"은 데이터에 대한 질문에 답할 수 있는 챗봇의 거의 일반적인 용어가 되었습니다.

Copilots는 회사가 소유한 데이터에서 추출할 수 있습니다.

NVIDIA GTC는 특정 회사 소유의 정형 및 비정형 데이터에서 답변을 도출할 수 있는 광범위한 코파일럿 AI를 보았습니다. 예를 들어, SoftServe Gen AI Industrial Copilot은 로봇 팔의 유지 보수 매뉴얼을 읽어 수리를 위한 단계별 지침을 만들고 3D 모델에서 정비사가 교체해야 하는 부품을 강조 표시할 수 있습니다.

인용을 통해 인간이 AI 답변을 확인할 수 있습니다.

엔터프라이즈 코파일럿의 또 다른 일반적인 추세는 인용이었습니다. 넥스젠 클라우드는 자사의 하이퍼스택 클라우드 플랫폼(소프트서브가 개발하고 엔비디아 GPU가 가속화)이 동영상을 기반으로 질문에 답하고 AI가 답변을 제공한 비디오 녹취록의 특정 순간을 가리키는 코파일럿을 어떻게 실행할 수 있는지 보여주었습니다. 독점적인 개인 데이터 소스와 코파일럿 스타일의 챗봇 기능의 결합은 기업용 생성 AI에서 계속해서 원동력이 되고 있습니다.

• 출처: https://www.techrepublic.com/article/nvidia-gtc-2024-trends/?utm_source=Sailthru&utm_medium=email&utm_campaign=e311_03.26.2024_ICP_ATS&utm_term=Innovation-Insider-Active