메타의 오픈소스 LLM인 Llama의 다음 버전 Llama-3.1 의 모델이 유출되어서 이슈가 되고 있는데요. 이에 대한 성능을 정리해봤습니다.

가장 큰 모델인 405B은 물론 대중적인(?) 크기인 70B도 GPT-4o에 대해 대부분의 벤치마크를 뛰어 넘은 것을 볼 수 있습니다.

다만 게임 체인저가 될만큼 아주 크게 뛰어 넘은 것은 아니어서 아쉽기도 하고, GPT-4o를 상회하는 벤치마크들을 봤을 때, 학습 데이터가 오염되어 있는게 아닌가라는 의심이 약간 들기도 합니다.

그리고 405B 모델이 크기에 비해 성능 향상이 상대적으로 많이 낮다고 생각되는데요. 학습이 덜 된 모델인가? 라는 생각도 들고, 아니라면 LLM 그 자체만으로는 이제 성능 향상에 어느정도 한계가 온 것일 수도 있을 것 같습니다.

아직 공식 발표 전이라서 모든건 그냥 뇌피셜이긴 합니다. 차주중에 발표가 있을 것이라고 하는데요. 성능이 뭔가 좀 아주 매력적인 느낌은 아니라..무언가 조금 특별한 로드맵이 발표되면 좋을 것 같습니다. 😎🍿🥤