Fortune 500대 경영진이 고민하는 AI의 현실

Gen AI는 점점 다가오고 있네요. 우리 회사도 자사 서비스에 ChatGPT를 적용할 수 없을까요?라고 묻는 분들이 점점 늘어나고 있어요. 관련해서 좋을 글을 알게 되어 공유 드립니다.

• 처음에 Gen AI가 등장했을 때는 너도나도 자체로 LLM을 구축해야 하는 건가? 고민했는데, 그 고민이 충분하기도 전에 수많은 오픈소스와 API, 클라우드 활용성, 그리고 RAG... 너무나도 빠르게 좋은 방향을 잡아가는 듯 합니다.

  
  

• 일반적 목적으로 사용 가능한 LLM 은 손으로 꼽는 개수로 수렴할 것이고, 이를 쉽게 사용하기 위한 클라우드 화, 그리고 개별 요구사항을 잘 반영하기 위한 맞춤화가 응용 서비스가 Gen AI를 제품에 적용하는 방향이 되는 듯 합니다.

  
  

• 너무 속도가 빠르다 싶은게... 보통 Privacy는 어느정도 시간이 흘러서 상용화가 본격적인 시점에 부각되는 경우가 많은데... 엊그제 소개된 거 같은 Gen AI에서 Privacy는 이미 중요한 키워드가 되어 있습니다.

[원문 내 요약] (경영진의 관점에서) 굳이 직접 사내용 AI를 개발하는 이유

1. 회의론자들은 자율주행으로 치면 Level 1에 불과한 지금의 AI가 과연 기업의 생산성과 사업성에 실질적인 가치를 주는게 맞는지 의문을 제기했습니다.

   
   

2. 아직 AI 투자에 대한 ROI는 객관적인 지표보다 생산성 향상에 대한 직원들의 주관적 의견으로 판단되고 있습니다. 그러나 향후 2~3년 안에 매출, 비용 절감, 효율성 등 실질적인 수익 측정의 방식도 점점 더 중요해질 것 같습니다.

   
   

3. 기업용 생성형 AI 솔루션만을 위한 전문 인재를 확보하기에 현실적인 어려움이 있기 때문에, 기반 모델 업체에서는 맞춤형 모델 개발을 위한 전문 서비스를 제공하고 있고, 수익의 상당 부분을 차지하고 있기도 합니다.

   
   

4. 불과 6개월 전만해도 대부분의 기업이 1~2개의 모델만 테스트했지만, 요즘에는 93%의 기업이 3개 이상의 모델을 테스트하고 사용하고 있습니다. 오픈AI 모델이 현재 높은 시장 점유율을 보이고 있기는 하지만, 다양한 모델들도 테스트되고 있기 때문에 향후 시장 지형에 변화가 있을지도 모릅니다.

   
   

5. 특정 업체에 대한 의존도를 조정하고, 시장 변화에 빠르게 대응한다는 차원에서, API만 갈아끼우면 모델을 쉽게 바꿀 수 있도록 프로덕트를 설계하고 있습니다.

   
   

6. 오픈 소스 모델에 대한 선호도 및 실제 도입이 계속 높아지고 있습니다. 오픈 소스 모델을 도입하는 주된 이유는 비용이 아니라, 컨트롤과 맞춤화 때문인데요. 오픈 소스 모델이 모델에 대한 통제권을 더 가질 수 있고, 보안에도 유리하게 조정할 수 있거든요.

   
   

7. 기업들은 여전히 회사의 데이터를 다른 업체에 공유한다는 것에 대한 리스크가 있다고 판단하는데요. IP가 비즈니스 모델의 중심인 회사들은 특히 더 데이터 보안에 민감합니다.

   
   

8. 맞춤형 모델을 0부터 직접 학습시키기보다, 파인튜닝과 RAG(검색 증강 생성 - 검색과 결합된 생성형 AI) 기술을 활용을 선호하는 추세입니다.

   
   

9. 클라우드 서비스와 모델은 한세트입니다. Azure 사용자는 일반적으로 OpenAI를, AWS 사용자는 Anthropic이나 Cohere를 사용합니다.

   
   

10. 모델을 채택하는 주요 요인은 추론 능력, 신뢰성, 용이성이며, 클로드의 긴 컨텍스트 / Cohere의 파인 튜닝 등 차별화된 기능도 매력 포인트가 됐습니다.

    
    

11. 파인튜닝이 된 Mistral과 Llama가 OpenAI만큼 성능이 좋지만 훨씬 더 저렴합니다.

    
    

12. 검증된 기업용 AI 솔루션이 아직 부족합니다. 기업의 업무 프로세스를 효율화 시키거나 기업의 데이터를 잘 활용할 수 있도록 하는 AI 서비스를 부디 기다립니다.

    
    

13. 기업들은 사내에 AI를 도입하여 생산성을 높이는 영역에는 적극적이지만, 그에 비해 고객 대상 서비스에는 AI 도입을 조심스러워하는 경우가 많습니다. 할루시네이션이나, 민감성이 높은 사안에 대한 AI 문제의 후폭풍을 피하고 싶거든요. 때문에 이런 이슈를 통제하는 데 도움이 되는 도구를 개발한다면, 크게 주목받을 수 있을겁니다.

    
    

[원문 공유]

https://maily.so/ownsight/posts/03c7ebe5