[엔비디아] LLM 훈련을 위한 개방형 합성 데이터 생성 파이프라인 출시

AI계의 황제주인 엔비디아가 6월14일 대규모 언어 모델(LLM) 학습용 합성 데이터를 생성하는 데 사용할 수 있는 개방형 모델 제품군인 Nemotron-4 340B를 발표했습니다. *참고로, 합성 데이터는 실제 데이터를 모방한, 인간이 생성하지 않은 데이터입니다. 생성형 인공 지능 기술을 기반으로 한 컴퓨팅 알고리즘 및 시뮬레이션을 통해 생성됩니다. 인위적일 수 있지만 합성 데이터는 수학적으로나 통계적으로 실제 데이터를 반영합니다. 연구에 따르면 합성 데이터는 실제 사물, 사건 또는 사람을 기반으로 한 데이터보다 AI 모델을 학습시키는 데 더 효과적이거나 더 우수할 수 있다고 합니다.* 1. 네모트론-4 340B(Nemotron-4 340B) * 엔비디아 NeMo 및 엔비디아 텐서RT-LLM에 최적화된 모델 제품군 * 최첨단 인스트럭트 및 보상 모델과 생성형 AI 훈련을 위한 데이터 세트 포함 * LLM을 훈련하고 개선하는 데 사용되는 합성 데이터를 생성하는 파이프라인을 구성하는 기본, 인스트럭트, 보상 모델 포함 * 데이터 큐레이션, 커스터마이징 및 평가를 포함한 엔드투엔드 모델 트레이닝을 위한 오픈 소스 프레임워크인 NVIDIA NeMo와 함께 작동하도록 최적화 * 오픈 소스 NVIDIA TensorRT-LLM 라이브러리를 사용한 추론에도 최적화 * 표준 애플리케이션 프로그래밍 인터페이스가 포함된 NVIDIA NIM 마이크로서비스로 패키지화되어 어디에서나 배포 가능 * 허깅페이스: https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911 2. Nemotron을 탐색하여 합성 데이터 생성하기 * Nemotron-4 340B Instruct 모델은 실제 데이터의 특성을 모방한 다양한 합성 데이터를 생성하여 데이터 품질을 개선함으로써 다양한 도메인에서 맞춤형 LLM의 성능과 견고성을 높일 수 있도록 지원 * 개발자는 AI가 생성한 데이터의 품질을 높이기 위해 Nemotron-4 340B 보상 모델을 사용하여 고품질 응답을 필터링 * 네모트론-4 340B 리워드는 유용성, 정확성, 일관성, 복잡성, 장황함의 다섯 가지 속성에 따라 응답의 등급 부여 3. NeMo를 통한 미세 조정, TensorRT-LLM을 통한 추론 최적화 * 개발자는 오픈 소스 NVIDIA NeMo 및 NVIDIA TensorRT-LLM을 사용하여 지시 및 보상 모델의 효율성을 최적화하여 합성 데이터를 생성하고 응답을 점수화 * 모든 Nemotron-4 340B 모델은 개별 가중치 행렬을 여러 GPU와 서버에 분할하여 대규모로 효율적으로 추론할 수 있는 모델 병렬화의 일종인 텐서 병렬화를 활용하도록 TensorRT-LLM에 최적화 * 9조 개의 토큰으로 훈련된 Nemotron-4 340B Base는 특정 사용 사례나 도메인에 맞게 NeMo 프레임워크를 사용하여 사용자 정의 기능 * NeMo 프레임워크에서는 감독 미세 조정과 낮은 순위 적응 또는 LoRA와 같은 파라미터 효율적인 미세 조정 방법 등 다양한 커스터마이징 방법을 사용할 수 있습니다. * 모델 품질을 향상시키기 위해 개발자는 NeMo Aligner 및 Nemotron-4 340B Reward로 주석이 달린 데이터 세트를 사용하여 모델 정렬 * 얼라인먼트는 인간의 피드백을 통한 강화 학습(RLHF)과 같은 알고리즘을 사용하여 모델의 동작을 미세 조정하여 안전하고 정확하며 상황에 적합하고 의도한 목표와 일치하는 결과물을 보장하는 LLM 훈련의 핵심 단계 * 프로덕션 환경에 대한 엔터프라이즈급 지원과 보안을 원하는 기업은 생성형 AI 기초 모델을 위한 가속화된 효율적인 런타임을 제공하는 클라우드 네이티브 NVIDIA AI 엔터프라이즈 소프트웨어 플랫폼을 통해 NeMo 및 TensorRT-LLM에 액세스 가능 4. 모델 보안 평가 및 시작하기 * Nemotron-4 340B Instruct 모델은 적대적 테스트를 포함한 광범위한 안전성 평가를 거쳤으며, 광범위한 위험 지표에서 우수한 성능 * 사용자는 합성적으로 생성된 데이터가 사용 사례에 적합하고 안전하며 정확한지 확인하기 위해 모델의 출력을 신중하게 평가