Are Open-Source Large Language Models Catching up? https://arxiv.org/pdf/2311.16989.pdf

ChatGPT 출시 이후 LLM 개발에 대한 연구가 활발해져, 오픈 소스 LLM 들이 급격히 발전하고 있음. 특정 태스크에 대해서는 GPT-3.5-turbo 보다 우수한 성능을 보이는 LLM 들이 나오고 있음.

단, GPT-4 는 여전히 모든 영역에서 압도적임. GPT-3.5-turbo 에 대해서도 각 오픈소스 모델이 일부 특화한 태스크에 대해서만 성능이 좋고, 아직도 GPT-3.5-turbo를 전반적으로 넘는 모델은 없음.

오픈소스 LLM이 맹렬히 추격중이긴 하지만, 클로즈드 LLM을 따라잡기엔 아직 역부족인 상황. 오픈소스 LLM도 빠르게 발전하긴 하겠지만, 클로즈드 LLM을 뛰어넘기엔 아직 갈길이 먼 듯 합니다.

OpenAI 는 진짜 어떻게 이렇게 계속 앞서나갈 수 있는걸까요. 정말 대단하고 궁금합니다.