지난 달에 살짝 공개했던 [마이크로소프트 365 코파일럿의 동작 구조]를 포함하고 있는 마이크로소프트의 클라우드 사이드와 365사이드의 AI전략을 간단히 설명하는 글입니다. 마이크로소프트의 AI전략을 살펴보는 것은 멀지 않은 시간에 경험하게 될 컴퓨터로 일하는 방식을 이해하는데 도움이 될 것이다. 최근의 가장 큰 변화는 마이크로소프트의 최상위 프런트엔드 프로덕트 라인인 365에 코파일럿(Copilot)이라는 새로운 챗봇의 발표와 백엔드 애저 클라우드 서비스에 OpenAI서비스 출시에 있다. 관심있으신 분들에게 도움이 되기를 기대해 봅니다. 1. 마이크로소프트 365-코파일럿(Copilot) 1.1 코파일럿 동작 구조 ① 365 앱에서 사용자의 프롬프트로 호출되어 코파일럿은 접지(Grounding)라는 접근 방식을 통해 프롬프트를 사전 처리한다. 접지는 프롬프트의 품질을 개선하여 관련성 있고 실행 가능한 답변을 얻을 수 있도록 한다. 접지 작업에서 가장 중요한 부분은 비즈니스 콘텐츠와 콘텍스트를 검색하기 위해 그래프를 호출하는 것이다. ② 코파일럿은 그래프의 이 사용자 데이터를 다른 입력과 결합하여 프롬프트를 개선한다. 그 후 수정된 프롬프트를 LLM으로 보낸다. ③ 챗GPT 또는 Bing 채팅에 대한 경험을 바탕으로 LLM이 무엇을 할 수 있는지 판단하고 코파일럿은 LLM의 응답을 받아 그래프에 대한 추가 접지를 호출하고, 책임 있는 AI 검사, 보안, 규정 준수 및 개인정보 보호 검토, 명령 생성 등을 수행한다. ④ 마지막으로 Copilot은 사용자에게 응답을 보내고 앱에 다시 명령을 내린다. 코파일럿은 이러한 서비스를 반복적으로 처리하고 지휘하는 시스템으로 단순히 명령을 주고받는 메신저 역할을 넘어선다. 365 앱에 있는 수만 개의 명령어, 그래프에 있는 수조 개의 신호, LLM에 있는 수십억 개의 매개 변수가 처리대상이 된다. 1.2 마이크로소프트 365내의 코파일럿 파워포인트 발표 슬라이드를 만들어 달라고 요청할 수 있으며 엑셀에서는 데이터 분석을 요청해 인사이트 얻거나 분석 전문가 수준의 분석리포트를 만들 수도 있다. 아웃룩에 통합된 코파일럿은 받은 편지함을 우선순위에 따라 통합하여 관리하고, 맥락에 맞는 이메일 작성을 도와주고, 팀즈에서는 미팅 실시간으로 참석자와의 대화 내용을 실시간으로 요약 제공하여 생산성을 높이는 일이 가능하다. 사실 업무 환경에서 365와 같은 생산성 앱의 가치는 앱 간의 원활한 정보 공유를 들 수 있는데, 이 부분에서 코파일럿의 역할도 크게 눈에 띄는 부분이다. 즉 코파일럿을 사용하면 워드문서에 몇 가지 간단한 지침을 제공함으로 파워포인트 슬라이드로 변환할 수 있다. 이 지점에서 놀라웠던 점은 단순히 새로운 슬라이드를 생성해 주는 것을 넘어 발표자 메모까지 생성해 준다는 점이었다. 2. 애저 OpenAI 서비스 2.1 OpenAI + 애저 클라우드 서비스 엔터프라이즈 애플리케이션과 관련하여 기업 리더의 관점에서 가장 관심이 높은 것은 ‘기업 자체 데이터를 응답의 기반으로 사용하는 챗GPT와 같은 것을 어떻게 구축할 수 있는가"이다.마이크로소프트 역시 애저 OpenAI서비스를 오픈할 때는 이런 질문이 가장 중요한 해결 포인트라는 것을 이해하고 있다. 이 부분은 애저 인지 검색(Cognitive Search)과 애저 OpenAI서비스를 결합하여 기업 데이터 위에서 지식 기반 검색에 대화형 언어를 사용할 수 있다. 크고 작은 조직에서 비즈니스 가치를 달성하기 위해 애저 OpenAI 서비스를 사용하는 방법 외에도 마이크로소프트는 내부적으로 OpenAI의 대규모 언어 모델과 애저 인프라를 결합한 다음과 같은 서비스를 제공하고 있다. •깃헙 코파일럿(GitHub Copilot): 개발자가 AI 페어 프로그래머를 사용하여 코드 개발을 가속화할 수 있도록 Azure OpenAI Service의 AI 모델을 활용한다. •팀즈 프리미엄(Teams Premium): 개인, 팀, 조직의 생산성을 높이는 데 도움이 되는 지능형 요약(recap)과 AI생성챕터가 포함되어 있다. •비바 세일즈(Viva Sales): 제안된 이메일 콘텐츠와 데이터 기반 인사이트를 제공하여 영업팀이 고객에게 전략적인 판매 모션에 집중할 수 있도록 지원한다. •빙(Bing): 소비자의 검색 환경을 개선하기 위해 AI 기반 채팅 옵션을 도입했다. ---- *이 글은 제가 NIA [한국지능정보사회진흥원]의 < 디지털서비스 이슈리포트 > 3월호에 기고한 글을 브런치에서 재편집하여 공유합니다.