🗞️ xAI의 Gork-1 소스 공개

일론 머스크가 공언한대로 xAI에서 Grok-1의 소스를 공개했습니다. 8개의 Expert를 가진 MoE 모델로, 총 파라미터수는 314B 이며, 추론시 두 개의 네트웍을 사용해 실제 사용되는 파라미터는 86B 입니다. Mistral Medium 정도의 성능이 나오지 않을까합니다. JAX 구현으로 되어있고, 모델 Weight도 공개하여 쉽게(GPU만 넉넉하면? 😅) 사용해 볼 수 있습니다. 참고로, 토크나이저엔 한글이 거의 포함되어 있지 않아 한국어 성능은 그리 좋지 않을 것 같습니다. 물론 당연하게도(?) 학습 코드는 공개하지 않았는데요. 사실 학습 코드나 데이터가 공개되지 않으면 오픈한다는게 큰 의미가 없긴 해서, 적당한 장난감(GPU 부자들용 🥹)을 풀어놨다 정도의 의미가 될 것 같습니다.