AI를 다루는 PM은 어떻게 다를까?

프로덕트 매니저는 의도한 대로 제품을 만들기 위해서 기술이 가진 특성과 다루는 방식을 잘 이해해야 합니다.

특히 AI는 현재 제일 핫한 소재이자 기회이지만 소재를 다루는 방법을 잘 이해하지 못한 상태라면 비즈니스 상의 리스크를 겪게 될 수 있습니다.

AI라는 기술을 가지고 지속 가능한 방식으로 고객의 문제를 해결하는 제품을 만들기 위해 해당 글은 PM이 고려해야 할 협업 방식, 제품 개발 프로세스에 대해 이승헌 뤼이드 PM의 아티클을 소개합니다!

[배경]

생성형 AI가 등장한 이후, 분야를 막론하고 생성형 AI가 제공할 수 있는 높은 사용성, 접근성, 확장성을 앞세워 제품의 경쟁력을 높이고자 하는 기업의 수 증가

AI 기술은 다른 소프트웨어와 다르게 데이터의 양과 질에 따라 모델 성능이 달라지거나 불확실하고 반복적인 컨셉 검증과정이 요구되며 시간/적용 환경이 변화함에 따라 성능이 떨어질 수 있는 위험이 있어 지속적인 모니터링 및 학습을 통해 기술을 진화시켜야함.

-> 제품의 성공 여부는 (1) 목표를 잘 설정했는가 (2) 목표를 잘 달성할 수 있는 역량과 환경을 갖추고 있는가에 달려있다.

.

.

.

비즈니스 목표에 기반한 AI 목표 설정과 협업 방식

1. 경영진, 실무진이 모두 공감하고 실행할 수 있는 AI 제품 개발 목표와 전략 수립

• 상위 전략 단계부터 AI 기술을 통해 얻고자 하는 비즈니스 목표와 기술의 역할, 배포 규칙에 대해서 함께 정의하고, 배포 순간까지 일관적으로 적용해야 한다는 것

• 뤼이드의 경우, 선행적인 AI 연구와 제품화 작업의 목적, 호흡을 맞추기 위해 사내에서 ‘프롬프톤(Prompthon)’ 이라는 행사를 기획

• AI 제품은 AI, Mobile 기술 등 서로 다른 특성과 개발 호흡을 가진 소재가 결합된 결과이기 때문에, 하나의 목표 아래 이를 정렬하기 위해서는 일반적인 소프트웨어에 비해 제품의 비전과 형상을 좀 더 장기적으로 계획해야!

2. 프로덕트 팀 & AI 리서치 팀 각자의 강점을 살린 제품 구성과 역할 설정

• 프로덕트 팀은 특정 도메인등에 특화된 AI로 제품의 가치 극대화하고자 함

• AI리서치 팀은 확장성 있는 AI모델을 연구하여 기술의 가치를 높이고자 함

• How Align

  • 방법 1. AI 기술이 해결할 수 있는 여러 문제 중에서도 비즈니스 임팩트가 큰 영역에 리소스를 집중하기

  • 방법 2. 라이프 사이클 단계별 서로 다른 역할을 가진 팀으로 나누어, 선행 연구 개발 팀은 확장성 있는 기술을 개발한 뒤, 응용 연구 팀에서 제품에 맞게 별도로 파인튜닝 하기

  • 방법 3. 상대적으로 비즈니스 임팩트가 낮거나, 단기간에 기술 경쟁력을 갖추기 어려운 영역에서는 적절히 AI 기술 벤더 사의 상용 모델을 레버리지하여 제품을 구성하기
    

3. 진화하는 AI 기술을 위한 사용자 경험 설계
-사용자 피드백을 반영하여 모델의 행동 조정 및 재학습시키기

• 기술이 더 많은 이용 시나리오와 인터랙션을 포괄할 수 있도록 데이터에 기반한 사용자 인사이트를 지속적으로 AI 리서치 팀에게 전달하고 모델의 행동을 트레이닝하는 것은 프로덕트 팀의 중요한 역할

-AI 기술의 불완전함을 보완하기 위한 UX 전략 구상하기

• 선순환을 촉진시키기 위해서 모델 성격과 사용자의 행동을 동시에 이해하고, AI 모델과 사용자가 적절한 UX 전략을 설계하는 것 또한 중요

  • UX 설계 포인트 1. 사용자가 제품에 적절한 신뢰를 형성할 수 있도록 AI 모델에 대한 사용자의 신뢰와 설명 가능성을 높이기

  • UX 설계 포인트 2. AI 에러 상황 발생 시 이유를 식별 및 진단하고, 사용자의 적절한 대처 방법을 안내하기

  • UX 설계 포인트 3. 사용자 피드백 및 제어 메커니즘을 통해 사용자 참여를 유도하고 데이터를 축적하기

.

.

.

신뢰할 수 있는 제품을 보장하는 AI 제품 개발 프로세스

1. AI 모델의 개발 라이프사이클을 반영한 제품 개발 프로세스

• AI모델 개발 과정은 일반적인 소프트웨어 개발보다 길고 반복적인 과정이 요구되기에 일련의 워크플로우로 정렬할 수 있을 때 제품 팀의 실행력이 올라간다.

2. 단계별 프로덕트 매니저가 검증해야 하는 5가지 질문

• 프로세스 전 과정에서 적절한 질문을 던져 작업의 목표 및 달성 상황 등을 판단할 수 있어야 합니다. 또한 적절한 기준을 세워 AI 모델의 아웃풋을 평가하고, 필요시 반복적인 개선 작업을 요청해야 함.

• 비즈니스 KPI > 사용자 지표 > AI 모델의 성능 지표 등 단계별 목표 달성 여부를 데이터로 연결할 수 있다면, 일관적으로 목표를 관리하고 구성원들의 사기를 높이는 데에 큰 도움

  • 비즈니스 적합성 : 해당 비즈니스에 AI 기술을 적용하는 것이 적합한가?

  • 성능 적합성 : AI 모델은 의도했던 사용자 경험을 구현하기 위해 적합한 성능을 보여주는가?

  • 프로덕션 환경 배포 여부 결정 : AI 제품/기능을 프로덕션 환경에 배포할 준비가 되어 있는가?

  • AI 모델의 운영 방식 결정 : 성능, 비용 등의 측면에서 AI 모델을 지속적으로 운영해도 되는가?

  • 모델 개선 및 중단 여부 결정 : 모델은 현재 상태 그대로 지속해도 되는가? 혹은 재학습/ 재설계하거나, 서비스를 중단해야 하는가? 

마무리

프로덕트 매니저는 결국 완결성 높은 AI 제품을 만들어 내는 것을 넘어, AI를 통해 지속 가능한 비즈니스 임팩트를 창출할 수 있어야 한다.

소재가 가진 특성을 이해하고 비용, 프로세스, 협업 방식 등을 고민하는 것은 왜 AI를 활용해야 하는지, 다른 소재 및 제품과 결합하여 어떻게 조형하는 것이 좋을지 올바르게 결정하는 데에 중요한 시작점이 될 것!

https://www.wanted.co.kr/events/article_240122?utm_source=wanted&utm_medium=share