지난 <LLM의 위치 에너지가 변하고 있다> 포스팅에서 말씀드린 세일즈포스의 LLM 평가 프레임워크가 태블로 대시보드를 통해 공개되었습니다.

아래 링크를 클릭해 보시면 "실제 CRM 데이터를 사용하여 정확성, 비용, 속도, 신뢰 및 안전의 네 가지 주요 영역에서 15개 정도의 LLM, SLM을 평가하는데 꽤 재밌습니다.

저도 시나리오에 기반한 평가결과를 보았는데요. 제 시나리오는 CRM에서 가장 많이 사용하는 "영업활동 관련 메일 내용을 자동으로 요약하는 과정에 대해 ChatGPT-4o, 소형 Llama 3 8B, Gemini Pro 1.5를 '정확도', '비용', '속도', '신뢰/안전도'를 평가표를 보았습니다.

첨부한 화면을 보시면 잘 이해하실 듯 합니다.
정확도에서는 ChatGPT-4o, 신뢰/안전도 에서는 Gemini Pro 1.5가 근소하게 앞서지만, 전체적인 평가에선 소형모델인 Llama 3 8B가 훨씬 비용 대비 효율적(기업에서 가장 선호하는 핵심평가 요소) 입니다. 비싼 비용과 큰 덩치에 따른 상대적 느린 속도를 가진 LLM의 선택에 신중해 진다는 의미입니다.

물론 특정 시나리오 평가 상황임을 염두하시면서 여러분이 직접 평가표를 참고해 보시면 좋을 듯 합니다.

이런 평가 결과는 조직에 큰 가치를 가지며, 이러한 결과를 활용하여 제품 경쟁력과 고객 경험을 개선할 수 있겠지요.

지난 포스팅에서 강조하여 말씀드렸 듯 이런 벤치마크가 중요한 애플리케이션 공급 빅테크에서 지속적으로 나옴에 따라 헤게모니의 무게중심은 빠르게 변하게 될 것으로 예측해 봅니다.

저 글로벌 대표 LLM들 중에 하이퍼클로바 X는 보이지 않습니다. 제대로 국제 리그 평가전을 치뤄봐야 개선점도 나오고 인지도도 생길텐데요. 그냥 한국만 사용하는 네이버 포털, 카카오 톡처럼 되지 않을까 염려가 됩니다.

(세일즈포스의 CRM용 LLM 벤치마크 대시보드: https://public.tableau.com/app/profile/tableausalesstrategy/viz/LLMBenchmarkforCRM/ResultsOverview)