스타트업을 위한 '실험'과 '가설' 개념 설명

💦 나만 모르는 프로덕트 관리 이야기 [✏️ 스타트업을 위한 '실험'과 '가설' 개념 설명] (👀간단 요약) 📌 실험은 가볍게 하는 것이므로, 비용이 적게 든다라는 잘못된 생각 ✓ 실험을 하는 데 들이는 시간만큼 우리는 다른 일을 할 시간을 빼앗깁니다. ✓ 실험을 하자고 말하기 전에, 실험이 기회비용을 상쇄하고도 남을 만큼 우선순위가 높은지 판단하는 작업이 선행되어야 ✓ 엔지니어가 시간을 투입하는 실험의 경우 더 큰 비용 ✓ 코드를 나중에 유지보수하는 데 드는 시간, 제품이 복잡해지고 사용성이 나빠짐으로써 치르는 비용 등 📌 실험은 가볍고 빠르게 하는 것이므로, 계획이 필요치 않다라는 잘못된 생각 ✓ 실험을 '가볍게만' 생각해서 '날림'으로 하지는 말자는 말을 하고자 합니다. ✓ 누구를 대상으로 얼마나 어떤 실험을 할 것인지, 어떤 지표로 성공 여부를 판단할 것인지 등을 제대로 설계하지 않는 경우 ✓ 프로덕트의 경우 일단 기능을 배포한 뒤에 지표 데이터를 분석하지 않고 지나가는 경우가 많음 ✓ 실험을 면밀히 리뷰하고, 실험을 통해 새롭게 알게 된 것이 무엇인지 정리하지 않는 경우도 📌 실험을 일단 '많이' 하는 게 무엇보다 중요하다? ✓ 질(quality)은 무시한 채 양(quantity)에만 몰두하면 이런 부작용이 생길 수 있습니다. ✓ 하다 하다 할 게 없어서 버튼 색깔을 바꾸는 실험처럼 별 의미 없는 실험을 하는 경우도 ✓ 실험할 가치가 있을 만한 가설을 설정하는 과정을 생략하게 되기 때문 ✓ 빠르게 실험을 하는 것이 중요한 이유는, 실험을 하는 만큼 우리가 더 많은 정보를 얻게 되기 때문 📌 실험이란 무엇인가? ✓ 핵심은 '실험은 몰랐던 것을 알아내기 위해 (=지식을 얻기 위해) 하는 활동'이라는 것 ✓ 아무것도 알아낸 게 없다면 뭔가 잘못하고 있다는 신호로 받아들여야 📌 실험의 예시 ✓ 제품의 사용자 온보딩(onboarding) 플로우를 변경하는 A/B 테스트 ✓ 가격을 변경하는 A/B 테스트 ✓ 아직 개발하지 않은 제품의 수요를 파악하기 위해 랜딩페이지를 만들어서 하는 스모크 테스트 ✓ 기술을 개발하기 전에 일단 수작업으로 서비스를 제공함으로써 제품에 수요가 있는지 알아보는 '메커니컬 터크’ 📌 가설과 가정 구분하기 ✓ 실험을 통해 반증 가능한 구체적이고 명시적인 진술, hypothesis 개념을 가리킬 때도 가설 사용 ✓ 가설과 달리 반증 가능한 형태로 진술되지 않은 **암묵적인 믿음이나 추측,** assumption 개념을 가리킬 때도 가설 사용 ✓ 랜딩페이지를 개선하면 전환율이 증가할 것이다' 정도로 가설은 실험으로 반증하기 어려움 ✓ 어떻게 바꾸는 것이 개선인지, 전환율이 증가한다는 것은 어느 정도인지 등에 대해서 명확하게 정의하지 않았기 때문 📌 가설 ✓ 랜딩페이지를 A에서 B로 변경하면, A일 때보다 가입 전환율이 15% 이상 증가할 것이다’라는 식으로 반증 가능한 구체적인 진술 ✓ 반증 가능하다는 것은 실험으로 거짓이라는 것을 입증할 수 있다는 것 (실험을 해 보면 위 문장이 사실인지 아닌지 알 수 있음) ✓ 우리가 실험을 계획할 때는 이런 식으로 구체적인 가설을 세워야 📌 가정 ✓ 우리가 고객, 시장 등에 대해 가지고 있는 추측 ✓ ‘우리 잠재 고객은 OOOO라는 문제를 가지고 있을 것이다’ ✓ ‘OOOO라는 문제를 가지고 있는 사람이 많을 것이다.’ ✓ ‘고객이 OOO로 전환하지 않고 이탈하는 이유는 OOOO일 것이다.’ ✓ ‘잠재 고객에게 도달하는 마케팅 채널로는 OOO 채널이 효과적일 것이다.’ ✓ 가설처럼 반증 가능한 구체적인 형태로 만들어지지는 않은, 암묵적인 믿음 ✓ 사실이 아닌 가정을 믿고 많은 시간과 자원을 투입했다가는 비용을 낭비할 위험(risk) 📌 가정(assumption)을 검증하기 위해 가설(hypothesis)로 변환하기 ✓ 우리가 실험을 하는 목적은 모르는 것을 알아내는(=지식을 얻는) 것 ✓ 특히 스타트업은 여러 가정들(아직 검증되지 않은 추측과 믿음, 즉 assumption) 위에서 움직임 ✓ 검증되지 않은 가정들을 믿었다가는 많은 시간과 자원을 낭비할 위험(risk) ✓ 스타트업은 시간과 자원을 적절히 투입해서 가정을 검증하기 위해 실험을 진행 ✓ 우리는 특히 위험성(risk)이 큰 가정을 검증해야, 참이 아닌 경우 사업 혹은 액션아이템이 실패할 가능성이 높아지는 가설 ✓ 실험을 하려면 실험 설계가 필요. 특히 실험 설계의 중심에는 가설 설정 ✓ 가설 설정이란, 암묵적인 믿음인 가정(assumption)을 반증 가능하고 구체적인 형태의 가설(hypothesis)로 만드는 것