얼마 전 Meta AI에서 LLaMA 라는 모델을 공개했는데요, GPT-3 등 보다 더 작은 규모임에도 훨씬 더 좋은 성능 (벤치마크에서) 을 보였다는 내용이었습니다. 학습한 checkpoint 파일을 공개하긴 했지만 연구자들에게만 신청을 받아서 공개했는데, 접근 권한을 받은 사람들이 해당 모델을 토렌트 등을 통해 공유한 것으로 알려져 있습니다. 어떤 분이 해당 모델 (7B, 13B, 30B, 65B) 들 모두 받을 수 있는 스크립트를 github에 올려서 공개해 놓았길래 확인 해 보니 정말 현재 기준으로는 다 받아지네요. (모든 모델 다 받으면 총 용량 220GB) 이렇게 유출이 많이 되다 보니 곧 완전히 public으로 풀릴 것 같기는 합니다. LLaMA를 직접 사용해본 글들을 보니 GPT-3 보다는 좋은 편이고 ChatGPT에는 못 미치는 경우가 많다고 하는데 RLHF 를 활용해서 좀 더 개선하는 등의 과정을 거치면 여러모로 다양하게 사용될 수 있을 것 같습니다.