#퍼블리매일읽기챌린지 #퍼블리뷰 #퍼블리뷰12일차 (누적 63일차)
리스크를 줄이는 그로스해킹 전략: 퍼블리는 A/B 테스트를 어떻게 하고 있나
저자 김민우
가설 검증은 비즈니스의 기본이다: 조금 잃고 많이 따는 법
스타트업은 잘 작동하는(반복 가능하고 확장성 있는) 사업 모델을 탐색하는 과정에 있는 조직인 것입니다.
잘 작동하는, 반복 가능하고 확장성 있는 사업 모델을 찾아내는 일은 쉽지 않습니다. 그때까지는 여러 가지 시도를 해야 하는 것이 스타트업의 숙명입니다. 그렇다면 스타트업과 가설 검증은 무슨 관계일까요?
가설이란, 어떤 문제나 사안에 대해서 우리가 가진 추측을 가리킵니다. 가설이 '사실'이 아니라 '추측'인 이유는 아직 사실 여부를 판단할 근거가 충분하지 않기 때문입니다. 가설을 사실로 받아들이기 위해서는, 가설을 입증하는 충분한 근거가 모여야 합니다.
잘못된 가설을 붙들고 있느라 활주로를 낭비하지 않으려면 스타트업은 빠르고 유연하게, 다른 말로 '린(lean)'하게 가설을 검증해야 합니다. 막연한 추측에 기대어 모든 시간과 자원을 투입하는 것이 아니라 고객과 문제, 시장, 솔루션에 관한 근거를 확보하며 가설들을 하나씩 확인하며 사업 방향을 수정해야 합니다. 그래야만 살아남을 확률이 높아집니다.
'문제와 고객이 존재하지 않을 위험'은 스타트업이 처할 수 있는 가장 큰 위험이므로, 스타트업이 가장 먼저 검증해야 할 가설은 문제와 고객에 대한 가설입니다.
문제와 고객에 대한 가설을 검증하는 데는 어떤 방법이 있을까요? 문헌을 찾아서 연구하는 등 여러 방법이 있겠지만, 가장 효과적인 방법은 고객을 직접 만나서 물어보는 것, 즉 고객 인터뷰(customer interview)입니다.
고객을 심층적으로 파악할 수 있다는 점 역시 1대1 인터뷰의 큰 장점입니다. 여러 사람에게 고르게 질문을 하느라 초점이 분산되는 포커스 그룹 인터뷰와는 달리, 1대1 인터뷰에서는 참여자 한 명에게 온전히 신경을 쓸 수 있습니다. 얼마든지 추가 질문을 하면서 구체적인 내용을 물어볼 수 있고, 표정이나 말투 등에서 단서를 찾아낼 수도 있습니다. 고객을 파악하고 고객 가설을 검증하고자 하는 스타트업에게 1대1 심층 인터뷰가 필수인 이유입니다.
솔루션에 가설을 검증하는 데 유용한 방법의 하나는 프로토타이핑(prototyping)입니다. 처음부터 끝까지 완전히 작동하는 제품을 오랜 시간을 들여 완성한 뒤에 고객 앞에 내놓는 게 아니라, 프로토타입(prototype, 시제품, 샘플, 혹은 시뮬레이션 수준으로 만든 제품)을 만들어서 고객들의 반응을 보는 것입니다.
실전: A/B 테스트 시행 8단계
1. 목표 설정하기
가장 먼저, 무엇을 위해 테스트를 하는지 목표를 설정해야 합니다. 이를 위해서는 우리 사업이 성장하고 성공하기 위해서 무엇을 해야 하는지 생각해야 합니다.
2. 아이디에이션(ideation)하기
목표를 설정했다면, 어떤 테스트를 통해서 목표를 달성할 것인지 정해야 합니다. 고객 획득을 위한 테스트라면 광고의 크리에이티브를 변경해서 테스트해 볼 수 있고, 랜딩 페이지 전환율을 높이는 테스트라면 페이지의 각종 구성 요소들(헤드라인, 문장, CTA 버튼 등)을 변경해서 테스트해 볼 수 있습니다. 리텐션을 위한 테스트라면 제품 사용 경험에 변화를 가하며 테스트할 수 있습니다.
3. 우선순위 정하기
여러 가지 아이디어를 내놓은 뒤에는, 아이디어에 우선순위를 매겨야 합니다. 이때는 어느 아이디어가 가장 임팩트가 클 것인지, 어느 아이디어의 성공 가능성을 높이 평가하는지, 어느 아이디어가 적은 자원으로 구현 가능한지 등을 고려해 ICE 스코어*를 매겨 우선순위를 정하면 됩니다.
4. 실험군과 대조군 설정하기
이제 무엇을 테스트할지 정했다면, 실험군과 대조군을 설정해야 합니다. 예를 들어 '구매 페이지에 '고객 후기'를 추가했을 때 구매 전환율이 높아질 것이다'라는 가설을 테스트한다고 가정했을 때, 대조군과 실험군은 각각 다음과 같습니다.
대조군: 기존 구매 페이지를 보는 사람들
실험군: 고객 후기를 추가한 새로운 페이지를 보는 사람들
5. 필요한 샘플 크기를 계산하고, 테스트 기간 설정하기
이전 챕터에서 통계적 유의미성을 얻기 위해서는 샘플 크기가 충분히 커야 한다고 말씀드렸습니다. A안을 10명에게 보여주고, B안을 10명에게 보여줘서 전환율을 계산한다면, 너무 샘플 크기가 적기 때문에 테스트 결과가 의미가 없겠죠.
테스트 기간 설정에 절대적인 법칙은 없지만, 저는 보통 2주 이상 테스트를 시행하길 권장합니다. 신규안은 새롭다는 이유만으로 초반 며칠 동안 전환율이 높게 나오는 경우가 많은데, 이는 실험 결과 해석에 왜곡을 일으킬 수 있습니다. 그래서 충분히 긴 기간 동안 테스트를 하는 것이 좋습니다. 에어비앤비 데이터 사이언스 블로그에 따르면, 에어비앤비와 같이 사용자가 많은 기업도 제대로 된 실험 결과를 얻기 위해 2주 이상 실험을 하곤 합니다.
6. 실험군과 대조군에 사용자들을 무작위로 배정하기
이렇게 샘플 크기를 설정한 다음에는, 실험군과 대조군에 사용자들을 배정해야 합니다. 이전 챕터에서 '통제된 실험' 개념을 설명할 때 말씀드린 것처럼 실험군과 대조군은 처치(treatment)를 제외하면 동질성 있는 집단이어야 합니다. 만약 실험군의 연령대는 모두 20대이고 대조군은 모두 30대라면 변수가 잘 통제된 실험이 아니기 때문에 실험 결과를 신뢰할 수 없게 됩니다.
7. 테스트 시행하기: A안과 B안을 동시에 테스트하기
테스트 준비를 마쳤다면 이제는 실제로 테스트를 시행할 차례입니다. 이때 주의할 점은, 테스트는 동시에 진행되어야 한다는 점입니다.
8. 테스트 결과 해석하고 승자 선택하기
필요한 샘플 크기를 계산할 때 미리 정한 테스트 기간이 경과하면, 데이터를 확인해서 실험군(신규안을 적용한 쪽)과 대조군(기존안을 적용한 쪽) 중 어느 쪽의 전환율이 더 높은지 봅니다.