Together 에서 OpenChatKit이라는 ChatGPT의 오픈소스 버전이라고 할 수 있을만한 모델을 공개하였습니다. 코드와 pretrained model 모두 공개한 점이 가장 흥미로운 점이라고 볼 수 있을 것 같습니다. - HF demo : https://huggingface.co/spaces/togethercomputer/OpenChatKit - 코드 : https://github.com/togethercomputer/OpenChatKit 참고로 Together 팀은 예전에 GPT-J 기반으로 개선한 GPT-JT라는 모델을 공개했던 팀이기도 합니다. GPT-JT는 고성능 GPU 클러스터가 아닌 분산된 환경에서 학습을 시도했었기 때문에 꽤 흥미로웠던 점이 많았었습니다. 이번 OpenChatKit 의 경우에도 GPT-NeoX-20B를 base model 로 활용했다고 합니다. 테스트 해 보니 인상적이지만 ChatGPT에는 아직 한참 모자른 것 같습니다. ChatGPT가 모델 사이즈도 그렇지만 매우 많은 feedback 데이터를 통해 RLHF를 잘 활용하여 계속 개선하기 때문에 당연하겠지만, 이제 오픈소스 진영에서는 시작이라고 생각이 됩니다. 앞으로도 이러한 오픈소스 모델들이 여러 가지 나오고, 여러 피드백 데이터들을 활용해 개선이 될 것 같습니다. 한동안 ML 업계는 춘추전국시대를 맞게 될 것 같네요..ㅎㅎ