RedPajama 7B 모델 정식 릴리즈

* 링크 : https://www.together.xyz/blog/redpajama-7b 예전부터 여러 오픈소스 LLM을 공개하던 Together 에서 RedPajama 모델을 공개했습니다. 기존에는 RedPajama 라는 이름으로 1.2T 토큰 규모의 데이터셋을 공개했었습니다 (참고: https://www.together.xyz/blog/redpajama) 물론 데이터 퀄리티가 별로인 것이 많이 들어가 있다면 그게 그렇게 의미있는건 아니지만.. 아무튼 곧 3B, 7B 모델을 공개했는데 7B 모델은 0.1 버전으로 명시해 놓았었습니다. (https://www.together.xyz/blog/redpajama-models-v1) 이번에는 약간 정식 릴리즈 처럼 공개를 했습니다. 벤치마크 데이터에 따르면 7B 모델 중에는 성능이 제일 높은 편으로 나오기는 합니다. 이렇게 계속해서 향상되는 오픈소스 모델들이 나오다 보면 정말 꽤 쓸만한 것들이 많이 나오게 될 것 같습니다!

RedPajama 7B now available, instruct model outperforms all open 7B models on HELM benchmarks - TOGETHER

TOGETHER

RedPajama 7B now available, instruct model outperforms all open 7B models on HELM benchmarks - TOGETHER

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2023년 6월 7일 오후 12:21

조회 2,218

댓글 0

    함께 읽은 게시물

    어려움을 극복하는 힘

    ... 더 보기

    예전부터 생각해왔던 것이지만, 회사에서 내가 무언가를 이뤘다고 생각하는 것이 얼마나 가소로운 생각이었나 싶다. 팀과 조직이 클 수록 그렇다. 나의 결과는 결국 내가 있는, 나를 둘러싼 환경이 결정하는 것이라서, 잘했다고 설레발도, 못했다고 좌절도 할 필요가 없다는 것을 뒤늗게 깨달았다.