DeepL Translate: The world's most accurate translator
Deepl
[엔비디아] LLM 훈련을 위한 개방형 합성 데이터 생성 파이프라인 출시
AI계의 황제주인 엔비디아가 6월14일 대규모 언어 모델(LLM) 학습용 합성 데이터를 생성하는 데 사용할 수 있는 개방형 모델 제품군인 Nemotron-4 340B를 발표했습니다.
*참고로, 합성 데이터는 실제 데이터를 모방한, 인간이 생성하지 않은 데이터입니다. 생성형 인공 지능 기술을 기반으로 한 컴퓨팅 알고리즘 및 시뮬레이션을 통해 생성됩니다. 인위적일 수 있지만 합성 데이터는 수학적으로나 통계적으로 실제 데이터를 반영합니다. 연구에 따르면 합성 데이터는 실제 사물, 사건 또는 사람을 기반으로 한 데이터보다 AI 모델을 학습시키는 데 더 효과적이거나 더 우수할 수 있다고 합니다.*
네모트론-4 340B(Nemotron-4 340B)
엔비디아 NeMo 및 엔비디아 텐서RT-LLM에 최적화된 모델 제품군
최첨단 인스트럭트 및 보상 모델과 생성형 AI 훈련을 위한 데이터 세트 포함
LLM을 훈련하고 개선하는 데 사용되는 합성 데이터를 생성하는 파이프라인을 구성하는 기본, 인스트럭트, 보상 모델 포함
데이터 큐레이션, 커스터마이징 및 평가를 포함한 엔드투엔드 모델 트레이닝을 위한 오픈 소스 프레임워크인 NVIDIA NeMo와 함께 작동하도록 최적화
오픈 소스 NVIDIA TensorRT-LLM 라이브러리를 사용한 추론에도 최적화
표준 애플리케이션 프로그래밍 인터페이스가 포함된 NVIDIA NIM 마이크로서비스로 패키지화되어 어디에서나 배포 가능
허깅페이스: https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911
Nemotron을 탐색하여 합성 데이터 생성하기
Nemotron-4 340B Instruct 모델은 실제 데이터의 특성을 모방한 다양한 합성 데이터를 생성하여 데이터 품질을 개선함으로써 다양한 도메인에서 맞춤형 LLM의 성능과 견고성을 높일 수 있도록 지원
개발자는 AI가 생성한 데이터의 품질을 높이기 위해 Nemotron-4 340B 보상 모델을 사용하여 고품질 응답을 필터링
네모트론-4 340B 리워드는 유용성, 정확성, 일관성, 복잡성, 장황함의 다섯 가지 속성에 따라 응답의 등급 부여
NeMo를 통한 미세 조정, TensorRT-LLM을 통한 추론 최적화
개발자는 오픈 소스 NVIDIA NeMo 및 NVIDIA TensorRT-LLM을 사용하여 지시 및 보상 모델의 효율성을 최적화하여 합성 데이터를 생성하고 응답을 점수화
모든 Nemotron-4 340B 모델은 개별 가중치 행렬을 여러 GPU와 서버에 분할하여 대규모로 효율적으로 추론할 수 있는 모델 병렬화의 일종인 텐서 병렬화를 활용하도록 TensorRT-LLM에 최적화
9조 개의 토큰으로 훈련된 Nemotron-4 340B Base는 특정 사용 사례나 도메인에 맞게 NeMo 프레임워크를 사용하여 사용자 정의 기능
NeMo 프레임워크에서는 감독 미세 조정과 낮은 순위 적응 또는 LoRA와 같은 파라미터 효율적인 미세 조정 방법 등 다양한 커스터마이징 방법을 사용할 수 있습니다.
모델 품질을 향상시키기 위해 개발자는 NeMo Aligner 및 Nemotron-4 340B Reward로 주석이 달린 데이터 세트를 사용하여 모델 정렬
얼라인먼트는 인간의 피드백을 통한 강화 학습(RLHF)과 같은 알고리즘을 사용하여 모델의 동작을 미세 조정하여 안전하고 정확하며 상황에 적합하고 의도한 목표와 일치하는 결과물을 보장하는 LLM 훈련의 핵심 단계
프로덕션 환경에 대한 엔터프라이즈급 지원과 보안을 원하는 기업은 생성형 AI 기초 모델을 위한 가속화된 효율적인 런타임을 제공하는 클라우드 네이티브 NVIDIA AI 엔터프라이즈 소프트웨어 플랫폼을 통해 NeMo 및 TensorRT-LLM에 액세스 가능
모델 보안 평가 및 시작하기
Nemotron-4 340B Instruct 모델은 적대적 테스트를 포함한 광범위한 안전성 평가를 거쳤으며, 광범위한 위험 지표에서 우수한 성능
사용자는 합성적으로 생성된 데이터가 사용 사례에 적합하고 안전하며 정확한지 확인하기 위해 모델의 출력을 신중하게 평가
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 6월 17일 오전 11:56
댓글 0
함께 읽은 게시물
![[영림원CEO포럼] “리더의 생각과 마인드가 조직문화를 바꾼다”](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
💳가게마다 토스 결제 단말기가 많이 보이는 이유
뻔
... 더 보기회사 근처의 단골 스타벅스 매장에 갔다. 메뉴판을 잠시 바라보았다. 익숙한 커피들이 보였다. 평소 늘 마시던 것들. 한 번쯤은 벗어나고 싶었다. 단정한 차림을 한 직원 앞에 섰다.
... 더 보기
