메타, GPT3 같은 대규모 언어 모델 'LLaMA' 공개.생성 AI전쟁

한동안 주춤하고 있는 메타가 간만에 새로운 소식을 전하였습니다. 메타는 24일(현지시간) 공식 블로그를 통해 'LLaMA(Large Language Model Meta AI)'를 공개 출시한다고 발표했다. 마크 저커버그 메타 CEO도 인스타그램을 통해 "LLaMA은 텍스트 생성이나 대화, 자료 요약, 수학, 단백질 생성 등에서 많은 가능성을 보여준다"며 "메타는 이 개방형 연구 모델에 전념하고 있다"고 말했다. 메타는 LLaMA의 장점으로 오픈AI나 구글의 LLM보다 매개변수(parameter)는 적지만, 고품질의 데이터 훈련으로 효율성을 높여 훨씬 적은 컴퓨팅 파워로도 큰 성능을 낼 수 있다는 점을 들었다. 따라서 누구나 쉽게 이를 활용하도록 하겠다는 취지다. 기본형인 66B(매개변수 650억개)를 비롯해 ▲7B(70억개) ▲13B(130억개) ▲33B(330억개) 등 용도에 맞춰 리소스를 줄일 수 있도록 다양한 버전을 출시한다고 밝혔다. 오픈AI의 'GPT-3.0'와 'GPT-3.5(챗GPT)'는 매개변수가 1750억개, 구글의 'PaLM'은 5400억개에 달한다. 하지만 메타는 매개변수를 키우기보다 LLM 훈련에 사용하는 토큰(텍스트 데이터 단위)의 양을 늘여, 품질을 높였다고 설명했다. LLaMA 65B와 33B에 1조4000억개, 가장 작은 모델인 LLaMA 7B의 경우에도 1조개를 사용했다고 밝혔는데, 이는 구글의 딥마인드가 지난해 9월 공개한 최근 LLM '친칠라'의 1조4000억개와 같은 수준이다. 메타는 LLaMA를 연구원이나 학계, 정부, 시민단체 등에 비상업적 라이선스로 제공할 예정이다. 아직 페이스북이나 인스타그램 등 메타의 제품에 도입되지는 않았다고 블룸버그는 전했다. 추가 내용은 링크 참고 플리즈~^^