엔비디아-미스트랄, 기업용 온디바이스 AI 모델 출시..."기업 채택 돌풍 예고"
AI타임스
커리어리 친구들, 인공지능(AI) 하드웨어 선두주자인 엔비디아와 유럽판 오픈AI인 미스트랄 AI가 협력해 새로운 기업용 온디바이스 AI 언어 모델을 공개했습니다. 엔비디아 소비자용 GPU에서도 구동할 수 있는 모델이라, 첨단 AI 기술을 활용하려는 연구자와 기업에서 널리 채택될 전망입니다.
벤처비트는 18일 엔비디아와 미스트랄이 협력해 기업용 데스크톱 환경에서 실행하는 온디바이스 AI 모델 ‘Mistral-NeMo’를 출시했다고 보도했습니다.
120억개의 매개변수와 12만8000토큰의 컨텍스트 창을 갖췄으며, 글로벌 다국어 앱을 위해 설계된 것이 특징이며, 한국어와 아랍어를 각각 2배와 3배 더 효율적으로 압축할 수 있으며, 중국어와 이탈리아어, 프랑스어, 독일어, 스페인어, 러시아어에서도 30% 성능 향상을 달성했습니다.
또 100개 이상의 언어로 훈련된 틱토큰(Tiktoken) 기반의 새로운 토크나이저인 '테켄(Tekken)'을 사용해 언어에 대한 성능을 개선했습니다. '라마3' 토크나이저와 비교, 모든 언어 대비 약 85% 성능이 앞섰다고 전했습니다.
8비트 부동 소수점 포맷(FP8) 추론을 지원, 양자화 인식 훈련을 통해 빠른 처리 속도를 제공합니다. 이를 통해 한번에 대규모 텍스트를 인식하고 처리하는 것이 가능합니다.
또한, 미스트랄-네모는 구글 '젬마 2 9B'와 '라마3 8B' 등 기존 오픈 소스 모델과의 벤치마크 테스트 결과, 대부분의 작업에서 월등한 성능을 기록했고, 엔비디아의 AI 플랫폼을 통해 'NIM' 마이크로서비스로 즉시 사용 가능하며, 추후 다운로드 가능한 버전도 제공될 예정입니다.
참고로 아파치 2.0 라이선스로 상업적 이용이 가능합니다.
https://www.aitimes.com/news/articleView.html?idxno=161757
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 7월 24일 오전 11:29