[AB 테스트 표본은 얼마나 커야 할까?]
실제 차이와 이로부터 비롯되는 파급효과를 측정하여 적절한 표본의 크기를 판단할 수 있다.
ex1) 두 그룹의 차이가 적고 표본이 충분히 큰 경우
표본의 수: 100,000명
결과 지표의 차이: 1%
👉실제 차이: 1,000명
👉매출액 차이: (객단가 1만 원 * 1,000명) = 1,000만 원
(* 동등 비교를 위해 객단가를 통일했습니다. 원 글과 다름)
ex2) 두 그룹의 차이는 비교적 크지만 표본이 충분히 크지 않은 경우
표본의 수: 1,000명
결과 지표의 차이: 5%
👉실제 차이: 50명
👉매출액 차이: (객단가 1만 원 * 50명) = 50만 원
위 사례의 경우 단지 “50만 원의 매출액 개선”을 위해 실험을 진행한 것이 아니라면 결과 지표의 차이가 더 작아지더라도 충분한 표본을 확보할 필요가 있다고 판단할 수 있다.