저희 팀(AI Product팀)은 실험적 성격의 AI 기술개발을 시도하면서 비즈니스적 가치를 발굴하는 일과 함께 서비스에 필요한 AI 기술을 개발하고 적용하는 일들도 동시에 진행하고 있다보니, 경험이 쌓이면 쌓여갈수록 AI와 Biz간의 간극을 더 체감하게 됩니다. 

사실 이 간극이란게 그다지 새로운 관찰도 아니지만, 생각보다 그 해법에 대한 논의는 많지 않은 것 같다는 생각이 들어 짧게나마 고민을 해봤습니다.

아주 단순하게는 a) 엔지니어가 비즈니스를 잘 이해하거나, b) 반대로 Biz 조직이 기술을 잘 이해하거나 둘 중 하나일 수 밖에 없겠으나, 현실은 개인/조직의 역량 문제, 조직적 문제 등이 뒤엉켜 생각보다 풀기 어렵거나 일반화하기 어려운 때문인지도 모르겠습니다.

[AI to Biz] - a)

a)는, AI 엔지니어가 Biz의 니즈를 잘 이해하여 기술을 개발하고 담당조직에 기술적용을 제안하는 것인데, 여기에 몇가지 허들이 있습니다.

• AI 엔지니어가 직접 Biz나 UX의 문제를 파고들어 고민할만한 여건(환경, 정보, 시간 등등)이 충분하지 않은 경우가 많기에, 고민의 결과가 현실과 거리가 있는 경우가 있습니다 (실용성 부족, 기술투자 대비 효과 고려 부족 등).

• 전달방법에 있어서 Biz 담당자들이 이해할 수 있는 언어와 사례를 들어 설명하는 것이 중요하지만, 안타깝게도 많은 엔지니어들이 이런 관점에서의 커뮤니케이션 역량이 부족한 경우가 많습니다 (수식이 난무하는 슬라이드 구성 등).

• Biz에 적절하면서도 현실성 있는 솔루션을 찾았다 해도, 시스템 아키텍처 구성이나 서비스 운영 측면에서의 효율적 방안을 찾는 것도 쉬운 일은 아닙니다. 서비스 개발팀(SW 엔지니어)과의 협업에 있어서 적절한 개발범위를 협의하고 이에 맞는 아키텍처를 설계하는 것도 Biz 와의 커뮤니케이션만큼이나 많은 고민과 논의가 필요합니다.

[Biz to AI] - b)

b)는 Biz 조직에서 기술적용 시나리오를 나름대로 열심히 고민해서 제안해오는 경우인데, 대개는 아무래도 AI 기술에 대한 이해부족으로 인해 부적절한 기술을 제안하는 경우가 많습니다. 그러다보니 AI 엔지니어들은 제안된 기술자체에 매몰되어 부정적인 반응을 늘어놓는 경우가 많습니다 (그 방법으로는 이런 문제가 생길 우려가 있어요, 그걸 하려면 이러이러한 것들이 선행되어야 하기에 오래 걸려요 등). 

이 때는 제안된 기술자체보다도 Biz 의 근본적인 니즈가 무엇인지를 파악하고 그에 적절한 솔루션을 제안하는 일종의 컨설팅적인 감각과 커뮤니케이션을 필요로 하는데, 이런 역량을 가진 AI 엔지니어는 찾아보기란 그리 쉽지 않습니다.

[As a Product]

AI 기술은 일반적인 개발과 달리, 긴 일정에 걸쳐 모델을 개발했다고 하더라도 그 성능을 담보하기 어려운 경우가 많습니다. 따라서 많은 논의를 거쳐 AI 기술을 개발하기로 결정했다면, 사전에 내부적인 PoC를 거치는 단계가 필요할 수 있습니다(적정한 성능이 확보된 시점에 기술을 적용할 수 있도록). 

Biz측에서 기술적용의 의지치가 높은 경우라면, 단계적(기술수준, 적용 트래픽의 제한 등) 기술적용 전략을 고려해야 하고 각 단계에서 예상되는 Biz impact에 대해서도 유관조직과 충분히 협의해두어야 합니다.

또한 각 단계별, 혹은 지속적인 성능개선 노력을 추진할 수 있도록 사전에 OCE(Online Controlled Experiments) 환경(시스템은 물론 의사결정 과정에 필요한 조직적 협의기준을 포함하는)을 사전에 구축해두는 것을 권장하고 싶습니다. 그렇지 않으면 기술개발 방향성 자체가 잘못된 것인지 혹은 아직 AI 모델이 충분히 숙성되지 않은 것인지 판단하기 어렵기 때문입니다. 그리고 이 판단의 부재는 십중팔구 프로젝트 중단 또는 AI 조직의 신뢰도/사기저하 등으로 이어질 수 있습니다.

단순히 결과적인 실적지표만으로 성공여부를 판단하기보다는 고객의 반응성을 분석해가며 lesson들을 꾸준히 쌓아가는 것이 중요한데, 그렇지 않으면 AI 기술의 특성상 개발에 많은 비용이 필요함에도, Biz 라는 타겟에 탄착군을 형성하지 못하고 마구 난사해버리는 결과를 낳을 수도 있습니다. 또 이러한 lesson(분석결과)들은 예상보다 낮은 기술효과를 보였을 때에라도 꾸준하게 추진할 수 있는 조직적 동력을 제공합니다. 이런 측면에서 AI 엔지니어와 데이터분석가가 함께 협업할 수 있는 구조는 매우 중요하다고 생각합니다.

[UX, UX, UX]

AI나 Biz 어느 한쪽이라도 UX 관점에서의 고민이 충분치 않으면, 기술자체에 매몰되어 매우 비효율적이고 결과적으로 실패한 기술투자가 될 가능성이 높습니다. 그러나 안타깝게도 UX를 중심으로 AI와 Biz를 바라볼 수 있는 역량을 갖기란 쉽지 않고, 이 역할을 특정조직에서 담당하기도 쉽지 않기에, 결국 UX 관점에서의 조직적 역량을 높이는 것 외에는 답이 없어 보인다는 것이 현재까지의 제 견해입니다(UX 관점의 강력한 리더십 또는 원칙 필요).

그리고 이 조직적 빈틈을 채워주는 역할로는, 기존에 존재하는 직군 중에라면 기획자들이 여기에 해당할 수도 있겠으나 AI 시대에는 위에 서술한 고려들과 물론 지속적인 기술 follow-up 까지 필요하기에 새로운 형태의 직군이 필요하지 않을까 하는 생각입니다. 아직 이런 직군의 Job title 또는 JD는 못봤던 것 같아서(적극적으로 찾아보지는 못했습니만), 혹시 알고 계신 분은 힌트를 주시면 감사하겠습니다 :)

----

'UX 심리학'이란 책을 읽어보려다가 갑자기 여러 생각들이 떠오르는 바람에 첫표지를 열다 말고 급하게나마 글을 써봅니다. 이 생각들에 대해 또 다른 퍼즐을 제공해주지 않을까 기대하게 되네요.