Stable Diffusion 을 만든 Stability AI 에서 StableLM 이라는 LLM 모델을 공개했습니다. 오픈 소스 데이터셋인 Pile 데이터셋을 기반으로 1.5T 토큰의 데이터셋을

Stable Diffusion 을 만든 Stability AI 에서 StableLM 이라는 LLM 모델을 공개했습니다. 오픈 소스 데이터셋인 Pile 데이터셋을 기반으로 1.5T 토큰의 데이터셋을 구축해 학습시킨 모델인데요. 중요한 건 완전한 오픈 소스로 상업적 이용이 가능한 첫 모델! (CC BY-SA-4.0) 현재 알파 버전으로 3B, 7B 모델을 학습시킨 체크포인트를 공개했고, 15B 와 30B 모델도 준비중이라고 합니다. 계획을 보니 65B와 175B까지 계획되어 있네요. 컨텍스트 길이는 4096 토큰으로 gpt-3.5 수준의 컨텍스트 처리가 가능합니다. 얼라인 문제가 꽤 우려되긴 합니다만, 어쨌든 Stability 가 또 한 번 큰 일을 냈네요. 봐야할게 더 늘어 머리아프지만, 정말 재미난 일이 끝없이 쏟아지는군요. 과연 앞으로 어떤 놀라운 일들이 또 일어날지 흥미진진하네요! 😎🍿(두근와작)