Code Llama가 공개된지 하루만에, 파인튜닝을 통해 GPT-4를 넘은 모델이 공개되었습니다. 😱 GPT-4가 HumanEval 평가에서 제로샷으로 67%를 통과했는데요. Code Llama 기본 파인튜닝 버전은 67.6%, 파이썬 파인튜닝 모델은 69.5%를 달성했다고 합니다. 아직 early stage라서 좀 더 평가해봐야 한다고 하지만, 연구 속도가 정말 미쳤네요. (16만개의 데이터셋을 사용, 32개의 A100-80GB으로 2 epoch, 3시간 학습) 역시 이제는 어떤 목적으로 얼마나 높은 품질의 데이터를 가지고 있는지가 중요한 것 같습니다. 현재 코딩 모델의 최고 성능이 GPT-4를 이용한 Verbal RL을 사용해 91%까지 육박한 상태라, MoE 기법으로 코딩 작업에 따라 최적화된 모델을 선택해서 코딩하게 만든다면, 근시일내에 개발자를 완전히 대체하는 것도 꿈(?)만은 아닐 것 같습니다. https://www.phind.com/blog/code-llama-beats-gpt4