📝 GPT-3.5 Turbo 의 크기는 7B

공개되지 않은 모델의 상당수의 비공개 정보를 API 질의만으로 알아낼 수 있다는 논문입니다. API 출력만으로 임베딩 크기 추정, 전체 어휘 획득, 모델 업데이트 탐지 및 유형 구분, 은닉 프롬프트 변경 식별 및 복원, LoRA 업데이트 감지, 전체 미세조정 업데이트 감지 등 굉장한 분량의 비공개 정보를 알아낼 수 있다고 하는데요. GPT-3.5 Turbo의 경우 임베딩의 크기는 약 4,096 차원으로 추정되며, 이 추정치를 바탕으로 했을 때 전체 파라미터수는 약 7B 정도로 추정된다고 합니다. 또한 단일 전체 출력만으로도 해당 출력이 GPT-3.5 Turbo 모델에서 생성된 것인지 정확히 구별할 수 있었다고 합니다. GPT-3.5 Turbo의 경우 약 $1,000 정도의 비용으로 이러한 정보들을 알아낼 수 있다고 합니다. 이런 방법을 알아낸 것도 대단하지만, 아무래도 눈에 띄는 것은 GPT-3.5 Turbo의 파라미터수를 7B 정도로 추정했다는 것인데요. 어느정도 작을 것으로 예상되긴 했지만 7B 수준이라는 건 꽤 놀랍네요. 경량화 기술을 연구하면서 성능은 최대한 유지하되 모델 사이즈를 계속 줄여온 것이 아닐까 싶습니다.