RedPajama 7B 모델 정식 릴리즈
* 링크 : https://www.together.xyz/blog/redpajama-7b 예전부터 여러 오픈소스 LLM을 공개하던 Together 에서 RedPajama 모델을 공개했습니다. 기존에는 RedPajama 라는 이름으로 1.2T 토큰 규모의 데이터셋을 공개했었습니다 (참고: https://www.together.xyz/blog/redpajama) 물론 데이터 퀄리티가 별로인 것이 많이 들어가 있다면 그게 그렇게 의미있는건 아니지만.. 아무튼 곧 3B, 7B 모델을 공개했는데 7B 모델은 0.1 버전으로 명시해 놓았었습니다. (https://www.together.xyz/blog/redpajama-models-v1) 이번에는 약간 정식 릴리즈 처럼 공개를 했습니다. 벤치마크 데이터에 따르면 7B 모델 중에는 성능이 제일 높은 편으로 나오기는 합니다. 이렇게 계속해서 향상되는 오픈소스 모델들이 나오다 보면 정말 꽤 쓸만한 것들이 많이 나오게 될 것 같습니다!