A/B 테스팅 시 저지를 수 있는 8가지 실수

A/B 테스팅 관련 유용한 리스티클이 있어 공유합니다. 테스트를 거치며 저지르기 쉬운 8가지 실수를 열거한 글인데요. 소제목을 보여드리니 링크를 통해 더 자세한 내용을 알아보세요.! 1.실험에 영향을 받지 않은 사용자를 포함하는 경우 실험 결과가 희석되어 변화된 부분의 영향을 판단하기가 더 어려워집니다. 2.집계 결과만 보는 경우(일명 심슨의 역설) 실험에서 집계된 수준에서 분석할 때 하나의 결과가 표시될 수 있지만 동일한 데이터를 하위 그룹별로 분석할 때 다른 결과가 표시될 수 있습니다. 그래서 주의해야 합니다. 이 글에서는 온보딩 흐름의 변경 사항을 테스트한다고 가정합니다. 변경 사항은 데스크톱 및 모바일 사용자 모두에게 영향을 미치는 상황으로요. 관련 내용은 링크에서 더 자세히 살펴볼 수 있어요. 3. 정해진 기간 없이 실험을 하는 경우 실험 실행 기간을 결정하지 않으면 중간 결과와 최종 결과를 구분할 수 없습니다. 4. 먼저 테스트하지 않고 실험을 실행하는 경우 종종 실험 결과를 얻는 것이 중요할 때 곧바로 모든 사용자에게 실험을 수행합니다. 모든 것이 올바르게 설정되어 있으면 괜찮을 수 있지만 실수가 생기면 실험을 다시는 수행하지 못하게 될 수도 있습니다. 5.카운터 메트릭(counter metric)을 무시하는 경우 카운터 메트릭은 실험에서 의도하지 않은 부정적인 부작용을 측정하는 지표입니다. 이를 모니터링하지 않으면 실수로 변경 사항을 롤아웃하여 사용자 환경을 악화시킬 수 있습니다. 6.주기성(계절성)을 고려하지 않는 경우 시즌 기간은 사용자 행동에 중대한 변화를 일으킬 수 있습니다. B2B 맥락에서 계절성은 비즈니스의 의사 결정 프로세스에도 영향을 미칠 수 있습니다. 예를 들어, 회사는 예산을 할당하거나 계약을 검토하거나 구매 결정을 내리는 특정 시기가 있는 경우가 많습니다. 이 기간 동안 A/B 테스트를 수행하면 일반적인 사용자 행동을 나타내지 않을 수 있는 편향된 결과가 발생할 수 있습니다. 7. 불명확한 가설을 테스트하게 되는 경우 ‘좋은 가설’과 ‘나쁜 가설’의 예를 다음과 같이 들어봅니다. *나쁜 가설: "결제 진행" 버튼의 색상을 변경하면 구매가 증가합니다. *좋은 가설: 사용자 조사에 따르면 사용자는 결제 페이지로 이동하는 방법을 잘 모릅니다. 버튼의 색상을 변경하면 더 많은 사용자가 이를 인지하여 더 많은 사람들이 결제 페이지로 이동하게 됩니다. 이것은 더 많은 구매로 이어질 것입니다. 8. 의사 결정 시 A/B 테스트에 지나치게 의존하는 경우