Idea Prioritization With ICE and The Confidence Meter
Itamar Gilad
ICE를 활용한 우선순위 관리 예시
Evidence Guided라는 책으로 주목받는 Itamar Gilad의 블로그 내용의 일부입니다. Evidence Guided는 Lenny's Podcast 출연 뒤에 아마존의 Product management 분야에서 2위로 올라와서 실리콘 밸리 PM들 사이에서 좋은 반응을 얻고 있는 것 같습니다. 완전히 새로운 개념의 책은 아니고, 기존 제품 개발 프레임웍을 다시 정리한 일종의 메타 프레임웍인 GIST(Goals-Ideas-Steps-Tests)라는 것을 기반으로 하고 있습니다. 프로덕트 매니저 뿐만 아니라 테크 산업에 종사하시는 분들께 추천드립니다.
🚀 제품 개발에서 가장 중요한 것은 우선순위 관리입니다. 어떤 아이디어를 선택하느냐에 따라 발생하는 비용은 상당할 수 있습니다.
- 😥 개발 비용 + 배포 비용 + 유지 보수 비용 + 기회 비용 + 기타 잔여 비용
💡 그래서 우리는 weak signals, 다수결, 상위 지위자의 의견(Hippo), 산업 트렌드 등을 기반으로 아이디어 실행에 대한 결정을 내립니다. 하지만 이러한 방식은 종종 동전을 룰렛 테이블에 놓는 것과 다를바 없어요. 여기서 Big Bet이란 용어가 나오게 된 이유입니다.
📊 그래서 ICE 스코어링을 활용합니다. 이것은 잘 알려진 프레임워크로, Impact(영향), Confidence(신뢰도), Ease(용이성)를 고려합니다. Impact와 Ease만으로는 우선순위를 지정하기에 한계가 있고, 우리를 무감각하게 만들 수 있습니다. 그래서 Confidence가 이에 대한 솔루션입니다.
💡 결국, bad product ideas에 투자하지 않기 위한 것인데요. 링크에서 소개하는 예시는 어떤 아이디어를 선택하느냐에 따라 발생하는 비용과 위험이 얼마나 큰지를 보여줍니다. 직관, 의견, 테마, 시장 트렌드에 의존하기보다는 검증하고 불확실성을 줄이는 것이 중요합니다.
📊 제품 개발에서 테스트와 검증하는 것이 느려 보이지만 실제로는 리스크와 임팩트 측면에서 효율적입니다.
💡 링크의 예시는 아래와 같은 방식으로 두 가지의 아이디어(챗봇, 대시보드 개발)를 검증합니다. 대부분 bad product idea는 챗봇과 같이 비용이 많이 들어가는 아이디어라는 점입니다. 앞서 언급드린 것처럼 제품 개발은 개발 비용, 배포 비용, 유지 보수 비용, 기회 비용 그리고 기타 잔여 비용이 모두 고려돼야 합니다. 😥
[ICE를 통한 우선순위 관리 예시]
1. Prioritization round 1: First ICE
- Impact, Ease, Confidence를 1차로 스코어링
- 자기확신(Self conviction), Thematic support(업계가 좋다는 아이디어), 타인의 의견(관리자, 동료가 좋다는 아이디어)는 모두 Confidence 값이 10점 만점의 0.1점으로 0에 가까움. 이러한 의견(Opinion)은 아이디어를 테스트/제품 개발하는데 있어 신뢰할 시그널로 고려하지 않음
2. Prioritization round 2: Estimations and feasibility checks
- Engineering, UX 멤버와 같이 좀 더 정교하게 ease를 계산하여 ICE 스코어를 정교화함
3. Prioritization round 3: Market Data
- 서베이 통해 신규 아이디어 반응 확인
- Market data를 통해 confidenc score는 조금 상승하지만, 여전히 '매우' 낮은 지수임
4. Prioritization round 4: Customer Evidence
- 소수 고객(10명) 대상으로 프로토타입 활용한 user study 진행
- 전화 인터뷰도 병행(20명 대상)
- 기능이 유용한지? 열정적인지? 얼마나 자주 사용할지? 의도한 목표를 잘 이해하는지?
- 이 단계에서 좋은 반응이 나오면 confidence score가 올라가지만 10점 만점의 3점 수준.
- 여전히 high-risk/high-reward project
5. Final Prioritization Round And a Winner!
- MVP 개발 통한 검증하여 최종 출시할 기능 결정
- 예시는 챗봇 6주 개발, 대시보드 5주 개발하여 MVP 출시
- 활성 사용자수, 전화인터뷰를 통한 유저 인터뷰, 그리고 최종적으로 MVP가 아닌 프로덕션 버전 출시 위한 ease를 고려하여 대시보드를 상용 버전으로 개발하기로 결정함
https://itamargilad.com/the-tool-that-will-help-you-choose-better-product-ideas/
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 10월 15일 오전 4:54
댓글 1
링글에서 10월 한정하여 8회 수업권을 특별 편성하여 판매중입니다. 저에게 링글 수업권 문의하시는 분들께도 제가 소개를 드렸는데요. 이번엔 가격 혜택 분만 아니라 영어 원서 혼자 읽기 프로그램도 같이 패키지로 제공하고 있습니다. 8회 수업권 확인: https://www.ringleplus.com/ko/student/portal/pricing 신규 가입하시는 분들께선 아래 임직원 링크로 가입하시면 포인트 혜택이 있습니다 ;) https://www.ringleplus.com/ko/student/landing/special-referral?referralCode=4fd754
함께 읽은 게시물
인성 없는 실력자를 대하는 마음가짐
실력은 갖췄지만 인성이 나간 사람을 만났을 때는 내가 기준을 더 높이는 것도 도움이 된다. 어차피 그 사람보다 실력이 더 좋은 사람은 반드시 있을 거다. 그렇다면 그 사람보다 더 잘하는 사람을 두고 인성 터진 사람을 비교당하는 위치에 두면 그 사람이 뭐라고 하든 별로 신경 안 쓰게 된다. 아무리 본인이 독한 말을 뱉어도 그 사람은 인성까지 갖추고 그 사람보다 더 잘하는 사람보다 못한 사람이다. 그냥 인성 터진 사람이지. 사실은 본인이 더 잘 알 거다. 실력은 부족한 인성에 대한 알리바이가 되지 않는다.
샘 알트만: "지금 당신이 o3보다 더 똑똑하다고 생각하세요?"
PM이 이해하면 좋은 지표 개념
프로덕트 매니저(PM)로 일하면서 늘 지표 이야기를 듣게 됩니다. 대부분 PM은 선행지표(leading indicator)와 후행지표(lagging indicator)의 개념을 잘 이해하고 있습니다. 하지만 선행지표에 영향을 미치는 '인풋(input) 지표, '아웃풋(o
... 더 보기
