Open Release of Grok-1
x.ai
<일론 머스크의 그록1 오픈소스 공개>
커리어리 친구들, 일론 머스크의 X에서 개발된 grok 모델과 코드가 오픈소스로 공개되었습니다. 라이선스는 Apache로 소스 수정을 하면 공개해야 한다는 조건이지만 그냥 사용하는 것에서는 지장이 없습니다.
크기가 무려 314B나 되는 규모의 모델이라서, 상당한 GPU를 시스템을 갖춘 곳이라야 가능할 것 같습니다. 구현은 역시나 JAX로 되어있으며, 애초부터 MoE로 설계된 것 같아 보이네요.
기술 스펙은 다음과 같다고 합니다.
314B parameters
Mixture of 8 Experts
2 experts used per token
64 layers
48 attention heads for queries
8 attention heads for keys/values
embeddings size: 6,144
rotary embeddings (RoPE)
SentencePiece tokenizer; 131,072 tokens
Supports activation sharding and 8-bit quantization
Max seq length (context): 8,192 tokens
https://x.ai/blog/grok-os
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 3월 18일 오전 12:43
댓글 0
함께 읽은 게시물
7월 둘째주 : AI에 정보 많이 넣으면 더 똑똑해질까? 오히려 바보됨
A
... 더 보기"배포했으면 스펙이지"
어떤 서비스가 버그를 가진채로 출시되었고, 사용자들이 그 버그를 전제로 기능을 사용하고 있다면, 그리고 그 위로 너무 많은 새로운 기능들이 쌓여있다면 그건 버그가 아니라 스펙(기능)이라는, 언젠가부터 들었던 업계의 유명한 블랙 유머다.
... 더 보기사용자가 아닌 개발자를 위한 웹 개발의 시대
자
... 더 보기클로드 코드 Max 한 달 사용 후기
클
... 더 보기
