구글 딥마인드의 gemma-2 2B 모델이 2B 모델 주제에(?) ChatGPT-3.5와 Llama-2 70B을 뛰어 넘어서 화제다. (Chatbot Arena ELO Score 기준)

실제로 사용해보면 그정도는 아닌 것 같은데, 일반적인 언어처리 작업은 매우 뛰어난 수준을 보이고, 추론 측면에서는 많이 부족하긴 하다. 정보 제공은 전혀 못하는 축이고.

최근 프롬프트 엔지니어링 기법 중, 아주 큰 모델에서 출력 샘플을 뽑고, 그걸 작은 모델에 넣으면 큰 모델에 준하는 성능을 얻을 수 있는 방법이 있는데, 이를 이용하면 추론 측면에서도 충분히 좋은 성능이 나올 것 같기도 하다.

약간의 파인튜닝이나 샘플 제공등을 통해 특화 목적으로 사용하거나 필터링이나 정보 추출/변환 같은 작업으로 프리/포스트 프로세싱에 사용하기 매우 좋을 것 같다.

실시간성이 필요한 작업에도 쓰일 수 있으니 제조업이나 로보틱스 등으로 범위가 매우 넓어지기도 할거고, 이제 진짜로 LLM을 비용 걱정 없이 쓸 수 있는 날이 오는 것이기도 하고. 앞으로 정말 많은 변화가 있을 것 같다.