디지털투데이의 황치규 기자가 쓴 LLM관련 16가지 트렌드관련 글입니다.

원글은 a16z에 올라온 글로 포춘 500대 기업 및 주요 기업 리더 수십여명과 이야기를 나누고 2 70여명을 대상으로 설문조사를 실시한 내용을 바탕으로 정리한 내용입니다. 상세 내용은 브런치의 글을 읽어보시길 강추합니다! ^^

1. 생성형 AI에 대한 예산이 급증하고 있다

2023년에 기초 모델(foundation model ) API, 자체 호스팅 및 미세 조정 모델들에 대한 평균 지출은 우리가 나눴던 십여 개 기업들에 걸쳐 700만 달러였다. 모든 기업들은 생성AI 실험 초기 결과가 유망하다고 판단해 2024년에 더 많은 워크로드를 프로덕션에 배포하기 위해 지출을 2배에서 5배까지 늘릴 계획이라고 답했다.

2. 리더들은 AI 투자를 반복적인 소프트웨어 예산 라인에 재할당하기 시작했다

2024년에는 많은 리더들이 올해에는 4분의 1 미만이 혁신 예산에서 생성AI 비용을 지출할 것이라고 응답했다. 훨씬 더 작은 규모로, 일부 리더들이 특히 고객 서비스 분야에서 인력 감축을 위해 생성AI 예산을 배치하기 시작했다. 이러한 추세가 지속된다면 향후 생성AI에 대한 지출이 크게 증가할 것으로 보인다.

3. ROI 측정은 여전히 예술이자 과학이다.

현재 기업 리더들은 대부분 AI를 통한 생산성 향상으로 ROI를 측정하고 있다. 그들은 좋은 지표로 NPS와 고객 만족도에 의존하고 있지만, 사용 사례에 따라 수익 창출, 비용 절감, 효율성 및 정확성 향상과 같은 보다 실질적인 수익을 측정할 수 있는 방법을 찾고 있다. 단기적으로 리더들은 생성AI 기술을 도입하고 수익을 정량화하는 데 사용할 최적의 지표를 찾고 있는 가운데 향후 2~3년 동안 ROI는 점점 더 중요해질 것이다.

4. 생성 AI를 구현하고 확장하려면 적절한 기술 인재가 필요하지만, 현재 많은 기업들은 사내에 이러한 인재가 없다

한 경영진은 "LLM은 아마도 사용 사례 구축 비용 4분의 1에 해당할 것"이라며 개발 비용이 예산의 대부분을 차지한다고 언급했다. 기업들이 모델을 가동하고 실행하는 데 도움을 주기 위해 기초 모델 제공업체는 일반적으로 맞춤형 모델 개발과 관련된 전문 서비스를 제공했고 지금도 제공하고 있다. 이는 2023년 이들 기업 수익에서 상당한 부분을 차지할 것으로 추정되며, 성과 외에도 기업이 특정 모델 제공업체를 선택한 주요 이유 중 하나다. 기업에서 적절한 생성AI 인재를 확보하기가 매우 어렵기 때문에, 사내에서 생성AI 개발을 쉽게 할 수 있는 툴을 제공하는 스타트업이 더 빠르게 채택될 가능성이 높다.

5. 멀티모델의 미래

불과 6개월 전만 해도 대다수 기업은 한 가지 모델(보통 OpenAI)이나 기껏해야 두 가지 모델을 실험하고 있었다. 오늘날 엔터프라이즈 리더들과 이야기를 나눠보니, 이들은 모두 1) 성능, 규모, 비용에 따라 사용 사례를 맞춤화하고 2) 종속을 피하며 3) 빠르게 변화하는 분야 발전을 빠르게 활용할 수 있는 여러 모델을 테스트하고 있고 일부의 경우 프로덕션에 사용하고 있었다. 모델 순위표는 역동적이며 기업들은 최고 결과를 얻기 위해 현재 최신 모델들과 오픈 소스 모델들을 모두 통합하고자 하기 때문에 이 세 번째 부분은 리더들에게 특히 중요했다. 프로덕션 사용 사례의 경우, 예상대로 OpenAI가 여전히 압도적인 시장 점유율을 차지하고 있다.

6. 오픈 소스가 급성장하고 있다

이는 지난 6개월 동안 가장 놀라운 환경 변화 중 하나다. 2023년 시장 점유율은 폐쇄형이 80~90%를 차지할 것으로 예상되며, 대부분의 점유율은 OpenAI가 차지할 것으로 예상된다. 그러나 설문조사 응답자 46%는 2024년에는 오픈 소스 모델을 선호하거나 매우 선호한다고 답했다. 인터뷰에서 AI 리더들 중 약 60%는 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 성능과 거의 비슷해지면 전환할 의사가 있다고 했다. 2024년 이후 기업들은 오픈소스로의 상당한 사용 전환을 예상하고 있으며, 일부는 2023년 80% 폐쇄형/20% 개방형 분할에서 50/50 분할을 분명한 목표로 삼고 있다.

7. 비용은 오픈소스의 매력에 영향을 미치지만, 주요 선택 기준에서 제어 및 커스터마이징보다 낮은 순위를 차지했다

오픈소스를 채택하는 주요 이유로 통제(독점 데이터 보안 및 모델이 특정 결과물을 생성하는 이유 이해)와 사용자 최적화(특정 사용 사례에 맞게 효과적으로 미세 조정하는 기능)이 비용보다 훨씬 더 큰 비중을 차지했다. 비용이 최우선 순위가 아니라는 사실에 놀랐지만, 이는 생성형 AI가 창출하는 초과 가치가 가격을 훨씬 능가할 것이라는 경영진 확신을 반영하는 결과다.

8. 통제에 대한 욕구는 민감한 사용 사례와 기업 데이터 보안 문제에서 비롯된다

기업들은 여전히 규제나 데이터 보안 문제로 인해 자사 독점 데이터를 비공개 소스 모델 제공업체와 공유하는 것을 불편해하며, 당연히 IP가 비즈니스 모델의 핵심인 기업은 특히 보수적인 태도를 보인다. 일부 리더는 오픈 소스 모델을 직접 호스팅해 이러한 우려를 해결한 반면, 다른 리더들은 가상 프라이빗 클라우드(VPC)가 통합된 모델을 우선적으로 고려하고 있다고 언급했다

9. 리더들은 일반적으로 처음부터 모델을 구축하는 대신 미세 조정을 통해 모델을 맞춤화한다

2023년에는 블룸버그GPT와 같은 맞춤형 모델 구축에 대한 논의가 많았다.  2024년에도 기업들은 여전히 모델 커스터마이징에 관심이 있지만, 고품질 오픈 소스 모델의 등장으로 대부분의 기업들은 처음부터 자체 LLM을 학습시키지 않고 검색 증강 생성(RAG)을 사용하거나 특정 요구 사항에 맞게 오픈 소스 모델을 미세 조정하는 방법을 택하고 있다.

10. 클라우드는 여전히 모델 구매 결정에 큰 영향을 미치고 있다

2024년에도 CSP와 선호하는 모델 간 상관관계가 상당히 높다: 애저(Azure) 사용자는 일반적으로 OpenAI를 선호한 반면, 아마존웹서비스(AWS) 사용자는 앤트로픽(Anthropic) 또는 코히어(Cohere)를 선호했다. API를 사용해 모델에 액세스하는 기업 72% 중 절반 이상이 CSP가 호스팅하는 모델을 사용했다. (응답자 4분의 1 이상이 오픈 소스 모델을 실행하기 위해 자체 호스팅을 사용했다)

11. 고객들은 여전히 출시 초기 기능에 관심이 많다

리더들은 특정 모델을 채택하는 가장 큰 이유로 추론 기능, 신뢰성, 접근 용이성(예: CSP)을 꼽았지만, 다른 차별화된 기능을 갖춘 모델에 대한 선호도 높았다. 예를 들어, 다수 리더는 이전 20만 개 컨텍스트 창을 앤트로픽을 채택한 주요 이유로 꼽았으며, 다른 리더들은 시장 출시 초기에 사용하기 쉬운 미세 조정 기능 때문에 코히어를 채택했다

12. 대부분 기업은 모델 성능이 수렴하고 있다고 생각한다

기술 커뮤니티 대다수는 모델 성능을 공개 벤치마크와 비교하는 데 초점을 맞추고 있지만, 기업 리더들은 미세 조정된 오픈 소스 모델과 미세 조정된 폐쇄형 모델 성능을 자체 내부 벤치마크 셋과 비교하는 데 더 집중하고 있다.  흥미로운 점은 일반적으로 외부 벤치마킹 테스트에서 폐쇄형 모델이 더 나은 성능을 보임에도 불구하고 기업 리더들은 특정 사용 사례에 맞게 미세 조정하기 쉽다는 이유로 오픈 소스 모델에 상대적으로 높은 NPS(경우에 따라서는 더 높은 수치)를 부여했다. 한 기업에서는 "미세 조정 후 미스트랄과 라마 성능이 OpenAI와 거의 비슷하지만 비용은 훨씬 저렴하다"는 사실을 발견했다.

13. 선택 가능성을 위한 최적화

대부분 기업은 모델 간에 전환할 때 API만 변경하면 되도록 애플리케이션을 설계하고 있다. 일부 기업은 스위치를 한 번만 누르면 변경이 가능하도록 사전 테스트를 진행하기도 하고, 필요에 따라 여러 앱에 모델을 배포할 수 있는 '모델 가든'(model gardens)을 구축한 기업도 있다. 기업들이 이러한 접근 방식을 취하는 이유는 부분적으로는 클라우드 시대에서 공급업체에 대한 의존도를 줄여야 한다는 뼈아픈 교훈을 얻었기 때문이고, 부분적으로는 시장이 너무 빠른 속도로 발전하고 있기 때문에 단일 공급업체에 전념하는 것이 현명하지 않다고 느끼기 때문이다.

14. 기업은 현재 앱을 구매하지 않고 구축하고 있다

기업들은  자체적으로 애플리케이션을 구축하는 데 집중하고 있으며, 그 이유 중 하나로 다양한 분야에서 검증된 엔터프라이즈 AI 애플리케이션이 부족하다는 점을 꼽았다. 결국, 이와 같은 앱에 대한 매직 쿼드런트는 아직 없다(아직!). 또 기초 모델은 API를 제공함으로써 기업이 그 어느 때보다 쉽게 자체 AI 앱을 구축할 수 있도록 했다. 이제 기업들은 고객 지원 및 내부 챗봇과 같은 익숙한 사용 사례 자체 버전을 구축하는 한편, CPG 레시피 작성, 판매 추천과 같은 보다 새로운 사용 사례도 실험하고 있다. 'GPT 래퍼(GPT wrappers), 또는 잘 알려진 LLM 결과물(예: 문서 요약)에 친숙한 인터페이스(예: 챗봇)를 구축하는 스타트업이 가진 차별화 한계에 대해 많은 글이 쓰여졌지만, 이들 기업이 어려움을 겪을 것으로 예상되는 이유 중 하나는 AI가 유사한 애플리케이 션을 사내에 구축하는 장벽을 더욱 낮췄기 때문이다.

15. 기업들은 내부 사용 사례에 대해서는 기대가 크지만 외부 사용 사례에 대해서는 신중한 태도를 유지하고 있다.

그 이유는 1) 환각과 안전성에 대한 잠재적 문제, 2) 특히 민감한 소비자 부문(예: 의료 및 금융 서비스)에 생성AI를 도입할 때 발생하는 문제가 여전히 기업에서 크게 작용하고 있기 때문이다. 지난해 가장 인기 있었던 사용 사례는 내부 생산성에 초점을 맞추거나 코딩 코파일럿, 고객 지원, 마케팅과 같이 고객에게 도달하기 전에 사람을 거치는 방식이었다. 2024년에도 이러한 사용 사례가 여전히 기업에서 주류를 이루고 있으며, 기업들은 텍스트 요약 및 지식 관리(예: 내부 챗봇)와 같은 완전히 내부적인 활용을 계약서 검토 등 사람이 개입하는 민간함 사용 사례나 외부 챗봇 또는 추천 알고리즘과 같은 고객 대면 사용 사례보다 훨씬 높은 비율로적용하고 있다.

16. 2024년 말까지 모델 API와 미세 조정에 대한 총 지출이 50억 달러 이상으로 증가할 것으로 예상되며, 기업 지출이 이 기회에서 상당 부분을 차지할 것으로 예상된다.

2023년 말 모델 API(미세 조정 포함) 시장은 애저를 통한 OpenAI 모델에 대한 지출을 포함해 약 15~20억 달러 런레이트(Run-rate) 매출을 기록할 것으로 예상된다. 전체 시장 예상 성장률과 기업들의 구체적인 징후를 고려할 때, 이 분야에 대한 지출만 연말까지 최소 50억 달러로 증가할 것이며, 상당한 상승 잠재력을 갖고 있다.

앞서 살펴본 바와 같이, 기업들은 생성AI 배포에 우선순위를 두고 예산을 늘려 표준 소프트웨어 라인에 재할당하고 다양한 모델에 걸쳐 사용 사례를 최적화했으며 2024년에는 더 많은 워크로 드를 생산에 투입할 계획이므로 이러한 성장의 상당 부분을 차지할 것으로 보인다. 지난 6개월 동안 기업들은 하향식으로 생성AI 솔루션을 찾고 배포하라는 명령을 내렸다. 과거에는 1년 이상 걸리던 거래가 2~3개월 만에 성사되고 있으며, 이러한 거래는 과거에 비해 훨씬 더 큰 규모로 이뤄지고 있다. 기업에서 미세 조정을 지원하는 툴링, 모델 제공, 애플리케이션 구축, 특수 목적 AI 네이티브 애플리케이션에 이르기까지 스택의 다른 부분으로 확장될 수 있다고 생각한다. 

• 원문: https://a16z.com/generative-ai-enterprise-2024/

• 출처: https://brunch.co.kr/@delight412/670