Databricks 에서 Dolly 2.0 이라는 12B 오픈소스 ChatGPT-like 모델을 출시. 파인튜닝에 사용한 베이스 모델이 상업적 사용이 불가한 모델이라 이 모델 자체는 상업적 사용이

Databricks 에서 Dolly 2.0 이라는 12B 오픈소스 ChatGPT-like 모델을 출시. 파인튜닝에 사용한 베이스 모델이 상업적 사용이 불가한 모델이라 이 모델 자체는 상업적 사용이 불가능하지만, 같이 공개한 15,000개의 Instruction 데이터셋은 상업적 사용이 가능한 데이터셋. 5,000명의 직원이 참여했다고 하며, 그렇게 만든 Instruction 데이터셋을 Creative Commons Attribution-ShareAlike 3.0 Unported License 로 GPL 과 유사한 라이센스로 배포함. 참고로 최초의 InstructGPT 은 13,000개의 Instruction 데이터셋을 사용함. 현재, 유출된 LLaMA 모델 파일로 인해 오픈소스 LLM 이 굉장히 빠르게 발전하고 있지만 만들어진 모든 모델들이 상업적 사용이 불가능한 상태. 이는 현존하는 거의 모든 오픈소스 모델들이 사용하는 베이스 모델과 Instruction 데이터셋이 모두 상업적 사용이 불가능한 라이센스라서 그런건데, 메타에서 공개 데이터셋만을 사용한 베이스 모델을 만드는 방법을 논문으로는 공개했으니, 이제 어떤 용자가 LLaMA 논문의 학습 방식을 잘 구현하고 학습시켜 베이스 모델만 상업적 사용이 가능하도록 해 준다면, LLM 의 발전은 한차원 더 가속화 될 것. (A100 80GB 2048개로 21일간 학습)