애플이 최근에 애플답지 않게 AI 관련한 다양한 논문과 오픈 소스 프로젝트를 발표하고 있는데요. 이번엔 대화형 AI 비서에서 중요한 '지시 해결' 기술에 대한 논문을 발표했습니다.

'지시 해결'이란 사용자가 "이거 실행해줘", "그 가게 전화번호 불러줘" 등의 지시를 내렸을 때, 그 '이거', '그 가게'가 실제로 무엇을 가리키는지 파악하는 작업을 말합니다. 대화 맥락뿐 아니라 화면에 표시된 정보, 백그라운드에서 실행 중인 앱 등의 상황도 종합적으로 이해해야 하는 태스크인데요.

Siri 같은 AI Assistant의 성능에 가장 크게 영향을 미치는 기술이라고 볼 수 있습니다. 아이폰 뿐 아니라 맥에도 중요한 기술이지만, 아마도 애플 비전 프로의 인터페이스를 염두해두고 연구한 것이 아닌가 싶습니다.

공간상에 있는 물체나 텍스트를 이해하고 사용자의 의도에 따라 제어하는 기술이 필요할테니까요.

성능은 LLM의 전체적인 성능을 비교한 것이 아니라서 아주 큰 의미는 없다고 생각하지만, 이 태스크에 있어서만큼은 80M짜리 모델도 GPT-4의 성능에 육박하거나 뛰어넘는 성능을 보이고 있습니다.

초대규모 모델이 궁극적인 기술이긴 하지만, 이렇게 작은 모델을 조합해서 복잡한 태스크를 수행하는 기술도 앞으로 꽤 유망할 것 같습니다. (저의 주요 연구 주제 중 하나)