Open Release of Grok-1
x.ai
<일론 머스크의 그록1 오픈소스 공개>
커리어리 친구들, 일론 머스크의 X에서 개발된 grok 모델과 코드가 오픈소스로 공개되었습니다. 라이선스는 Apache로 소스 수정을 하면 공개해야 한다는 조건이지만 그냥 사용하는 것에서는 지장이 없습니다.
크기가 무려 314B나 되는 규모의 모델이라서, 상당한 GPU를 시스템을 갖춘 곳이라야 가능할 것 같습니다. 구현은 역시나 JAX로 되어있으며, 애초부터 MoE로 설계된 것 같아 보이네요.
기술 스펙은 다음과 같다고 합니다.
314B parameters
Mixture of 8 Experts
2 experts used per token
64 layers
48 attention heads for queries
8 attention heads for keys/values
embeddings size: 6,144
rotary embeddings (RoPE)
SentencePiece tokenizer; 131,072 tokens
Supports activation sharding and 8-bit quantization
Max seq length (context): 8,192 tokens
https://x.ai/blog/grok-os
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 3월 18일 오전 12:43
댓글 0
함께 읽은 게시물
디자인패턴, 리팩토링, 클린 아키텍처 등등의 책들은 전공서적 보듯이 보는게 아니라 추리소설 보듯이 보는 것임. 이런 책은 추리소설처럼 일부 논리적으로 사고 할 수 있는 능력을 길러주긴 하지만, 기본적으로는 재미로 보는 것임. 경험적인 정보이지 과학적인 지식이 아님을 명심해야 함.
사이드 프로젝트, 진짜 재미는 후반전에 있다
며칠 전, 우아한형제들 임동준 님의 유튜브 영상을 보다 마음에 들어오는 메시지를 들었다. 영상은 AI에 대한 이야기였지만, 그 과정에서 나온 이 조언이 더 깊게 남았다.
... 더 보기할수 있는 것과 하지 말아야 하는 것들
개발을 하다 보면 할 수 있는 일과 하지 말아야 하는 일이 나뉘는것 같아요. 대부분의 일들을 할 수 있는 일들이고, 사실 안되는 일들은 거의 없을 수도 있는거 같아요.
... 더 보기
최근에 코딩 IDE와 AI 에이전트들이 우후죽순 출시되면서, AI에게 프로젝트에 대한 중요한 정보와 규칙들을 알려주기 위한 방식들도 난립하고 있었는데요. 이것들이 이제 AGENTS.md 로 통일될 것 같습니다.
... 더 보기
Ensuring 60fps Animations in SwiftUI
"
... 더 보기
