[Jamba]기존보다 처리율 3배 높인 대규모언어모델

AI21랩스(AI21 Labs)의 대규모 언어 모델인 잠바(Jamba) * https://www.ai21.com/jamba * 현재 버전: Jamba-v0.1 * 영어와 불어, 스페인어, 포르투갈어 지원 * 모델: SSM아키텍처 +트랜스포머(SSM-Transformer) 모델 * SSM은 시계열 데이터나 연속 데이터를 다루기 위한 확률 모델 일종으로 트랜스포머에 비해 계산 효율이 높고 긴 시퀀스 데이터 처리에 적합 * SSM과 트랜스포머 하이브리드로 동일 크기 트랜스포머 모델과 비교해 긴 컨텍스트에 대해 3배 스루풋을 실현 * 모델 일부에 프린스턴대와 카네기멜론대에서 개발한 오픈소스 모델인 맘바(Mamba)가 사용 * 토큰: 최대 140K * 10만 5,000단어를 적어도 80GB 메모리를 가진 단일 GPU에서 처리할 수 있는 대규모 언어 모델 * 5,200억 개 파라미터 가운데 1,200억 개만 사용 * MoE(Mixture-of-Experts) 레이어 채택 * MoE 레이어는 여러 신경망을 결합해 모델 전체 표현력과 효율성을 높이는 방식 * 벤치마크: LLaMA 2-13B, LLaMA 2-70B, Gemma-7B, Mixtral-8x7B 등과 비교시 Reasoning영역의 3개부문에서 다른 모델보다 높은 성능 * 라이선스: 아파치 2.0 라이선스 * 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼 내 엔비디아 NIM 추론 마이크로서비스를 통해 API로 액세스 * 2024년 4월 중 미세 조정된 더 안전한 버전을 출시할 예정 * 허깅페이스: https://huggingface.co/ai21labs/Jamba-v0.1 ** 출처: https://techrecipe.co.kr/posts/64162