<일론 머스크의 그록1 오픈소스 공개>

커리어리 친구들, 일론 머스크의 X에서 개발된 grok 모델과 코드가 오픈소스로 공개되었습니다. 라이선스는 Apache로 소스 수정을 하면 공개해야 한다는 조건이지만 그냥 사용하는 것에서는 지장이 없습니다. 크기가 무려 314B나 되는 규모의 모델이라서, 상당한 GPU를 시스템을 갖춘 곳이라야 가능할 것 같습니다. 구현은 역시나 JAX로 되어있으며, 애초부터 MoE로 설계된 것 같아 보이네요. 기술 스펙은 다음과 같다고 합니다. 314B parameters Mixture of 8 Experts 2 experts used per token 64 layers 48 attention heads for queries 8 attention heads for keys/values embeddings size: 6,144 rotary embeddings (RoPE) SentencePiece tokenizer; 131,072 tokens Supports activation sharding and 8-bit quantization Max seq length (context): 8,192 tokens https://x.ai/blog/grok-os