OpenAI의 GPT-3.5 Turbo 파인튜닝이 LoRA 등의 기법이 아닌 Prefix-Tuning 이라는 의견이 있는데 일리있는 의견으로 보이네요. Prefix-Tuning은 간단하게 말해 인퍼런스하는 임베딩 리스트의 맨 앞에 특수한 토큰을 삽입하는 방법인데요. 이를 통해 출력의 경향성을 제어하는 방법입니다. GPT-3.5 Turbo 파인튜닝의 설명에 보면 사용 범위를 출력 제어에 한정하여 설명하고 있는 것과, 학습에 매우 적은 데이터만 요구하고, 배포를 위한 특별한 작업이 필요 없다는 것을 보면 그럴듯한 추리인 것 같습니다. 그리고 생각해보면 최근 GPT-3.5 Turbo API 호출시 temperature를 0으로 설정해도 결과가 다르게 나오는데요. GPT-4의 MoE를 여러개의 LoRA + Prefix-Tuning된 GPT-3.5 Turbo를 라우팅하고 합쳐서 사용하는 것이라고 생각한다면, 모든게 맞아떨어지는 것 같기도 하구요. 물론 모든건 그저 추측일 뿐. ㅎㅎ 모든 모델의 성능을 압도하는 GPT-4는 어떻게 생겨먹은 놈일지, 여기저기 모델들이 발표되면 될 수록 점점 더 궁금해지네요.