메타의 Llama 3.1가 공식 출시되었네요. 성능이 뛰어나긴 하지만, 지금 시점에서는 오픈소스 모델이 프론티어 모델을 따라잡았다 수준이라서 역시 조금 아쉽긴 합니다. 물론 대단한 일임엔 틀림없지만요.

기능적으로는 128K 컨텍스트를 지원하고 다국어와 Tool Use를 정식으로 지원합니다.

훈련(학습) 방식에 있어서는 아주 특별한 브뤡스루는 없지만, 사전 훈련을 위해 LLM을 이용한 데이터 필터링과, 사후 훈련에 LLM으로 생성한 합성 데이터를 많이 사용했다는 것이 중요했다고 합니다.

이미 알려진 사실이긴 하지만, LLM의 성능이 일정 수준 이상에 도달함에 따라, LLM을 재귀적으로 사용하여 자연 발전시킬 수 있게 되었다는 것이 공식화된 느낌입니다.

무엇보다 발표하면서 거의 모든 클라우드 업체와의 협력을 발표했는데요. 왠지 메타답지 않은 행보라서 신선하기도하고 그만큼 대단하다는 생각도 듭니다.