[A/B 테스트] 새로운 프로덕트를 런칭하거나 변경 또는 개선사항이 있을 때 항상 A/B 테스트를 진행한다. Bias 한 결과가 나오지 않도록 함과 동시에 정확한 success metric을 측정할 수 있게끔 A/B 테스트를 설계하는 것도 중요하지만 정확한 분석 역시 중요하다. 설계를 잘해도 분석이 정확하지 않다면 모든 노력이 물거품이 되거나 의도한 것과 전혀 다른 결과를 맞이하게 될 가능성이 있다. A/B 테스트의 결과 분석에는 통계학적인 요소가 빠지지 않고 나오는데, 통계학도가 아니거나 A/B 테스트 경험이 적다면 하게 되는 크고 작은 실수들이 있다. (특히, p-value를 잘못 이해하는 경우가 많은 것 같다) A/B 테스트 결과에서 나오는 수많은 숫자를 보는 가이드가 잘 정리된 글을 소개한다. 글이 꽤 길지만, A/B 테스트를 많이 진행한다면, 또는 A/B 테스트와는 관계없지만, 통계학적 수치를 많이 접한다면 아래 사항들이 궁금하다면 꼭 읽어보기를 추천한다.

Statistical Significance in A/B Testing – a Complete Guide

Blog for Web Analytics, Statistics and Data-Driven Internet Marketing | Analytics-Toolkit.com

Statistical Significance in A/B Testing – a Complete Guide

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2020년 7월 8일 오후 1:23

댓글 0