지난 주 마이크로소프트 365의 AI 이벤트에서 소개된 코파일럿(Copilot) 기능에 많은 분들이 놀라고 많은 관련 글들이 나왔지만, 그것의 동작원리를 설명한 글을 찾을 수가 없어서 정리를 해 보았습니다. 많은 분들이 365앱에 OpenAI의 LLM을 붙였겠거니 생각하시는데, 사실 이 코파일럿의 힘은 다른곳에 있습니다. 코파일럿의 동작은 3개의 기본 컴포넌트 간 커뮤니케이션으로 일어납니다. 365 앱, 365 데이터 경험을 구조화해 주는 마이크로소프트 그래프, 그리고 그것을 자연어로 연결해 주는 LLM입니다. 밑의 그림의 색으로 다르게 표시한 화살표 번호를 보면서 따라오세요. ① 365 앱에서 사용자의 프롬프트로 호출되어 코파일럿은 접지(Grounding)라는 접근 방식을 통해 프롬프트를 사전 처리합니다. 접지는 프롬프트의 품질을 개선하여 관련성 있고 실행 가능한 답변을 얻을 수 있도록 하는 과정이죠. 접지 작업에서 가장 중요한 부분은 비즈니스 콘텐츠와 콘텍스트를 검색하기 위해 그래프를 호출하는 것입니다. ② 코파일럿은 그래프의 이 사용자 데이터를 다른 입력과 결합하여 프롬프트를 개선하고 수정된 프롬프트를 LLM으로 보냅니다. ③ 챗GPT 또는 Bing 채팅에 대한 경험을 바탕으로 LLM이 무엇을 할 수 있는지 판단하고 코파일럿은 LLM의 응답을 받아 그래프에 대한 추가 접지를 호출하고, 책임 있는 AI 검사, 보안, 규정 준수 및 개인정보 보호 검토, 명령 생성 등을 수행합니다. ④ 마지막으로 Copilot은 사용자에게 응답을 보내고 앱에 다시 명령을 내립니다. 코파일럿은 365 앱에 있는 수만 개의 명령어, 그래프에 있는 수조 개의 신호, LLM에 있는 수십억 개의 매개 변수가 처리대상이 되는 서비스를 반복적으로 처리하고 지휘하는 시스템입니다. 이 세개의 콤포넌트중 가장 중요한 것은 데이터, 인사이트, 인터랙션을 경험화하는 그래프에 있습니다. 바로 코파일럿이 빛날 수 있게 밑에서 모든 정보를 구조화해주는 것이 이 그래프 서비스의 역할이지요. 코파일럿은 ChatGPT로 한방에 나온 서비스가 아니라 지난 수년간의 작업의 결과로 이해하시면 됩니다. ---- 위의 내용은 NIA [한국지능정보사회진흥원]의 < 디지털서비스 이슈리포트 > 3월호 (곧 발간 예정) 원고에 포함된 내용으로 그 일부만 소개했습니다.