🎆[샘플 사이즈 계산기에 숨어있는 통계 이야기] A/B 테스트를 진행하기 앞서 늘 고민되는 것은 “적절한 샘플 사이즈는 얼마일까?”일 것입니다. 그리고 이 고민을 해결해주기 위해 웹에는 상당히 많은 수의 A/B 테스트 샘플 사이즈 계산기가 공개되어 있습니다. 숫자를 입력하면 샘플 사이즈가 출력되는데, 도대체 어떻게 샘플 사이즈가 구해지는 것인지 궁금했던 분들이 있을 것입니다. 1. p-Hacking 통계적 가설 검정을 수행할 때는 P값(p-value)을 이용하여 관습적으로 P값이 0.05보다 작은 경우 통계적으로 유의미한 것으로 간주합니다. p-hacking은 통계적으로 유의미한 결과를 얻기 위해 유의수준(P < 0.05)보다 낮은 P값을 얻기 위해 데이터를 선별하거나 데이터를 가공하는 등의 작업을 하는 것을 말합니다. 데이터를 가공하지 않더라도 데이터를 추가하는 방식으로 p-value 값에 영향을 줄 수 있습니다. 예를 들어 두 통계적 분포에서 추출한 데이터 포인트(data point)들이 있다고 가정해봅시다. 그리고 이를 통해 구한 p-value가 0.05보다 약간 큰 0.06이라고 해봅시다. 이 때 아래와 같이, 각 그룹에 데이터 포인트를 하나씩 추가한 다음 평균을 다시 구하고, p-value를 다시 구합니다. 이 경우 기존보다 더 낮은 p-value를 구하고, 통계적으로 유의미한 결과를 얻어낼 수 있습니다. 하지만 정말로 유의미한 결과를 얻은 것이 아니라 p-hacking에 해당합니다. 실험을 진행할 때도 이와 유사한 상황이 발생할 수 있습니다. 바로 통계적으로 유의하지 않은 결과를 확인하고도 실험을 지속하는 경우입니다. 예를 들어 실험을 진행하여 얻은 p-value 값이 0.06이라고 가정해봅시다. 사전에 설정한 유의수준이 0.05라고 할 때, 통계적으로 유의하지 않습니다. 하지만 실험을 중단하는 대신 실험을 더 지속하기로 합니다. 결국 실험 결과를 다시 확인한 결과, p-value 값으로 0.04를 얻습니다. 이 경우 통계적으로 유의한 결과를 얻었다고 마냥 좋아해서는 안 됩니다. P값은 표본 수에 영향을 받기 때문입니다. 표본평균 차이가 동일하다고 할 때 데이터의 크기가 커질수록 p-value는 작아집니다. 그러므로 낮은 p-value 값이 항상 의미 있다고 생각해서는 안 됩니다. 위 경우 불순한 의도를 가지고 p-value를 조작한 것은 아니지만 의도치 않게 p-value에 영향을 준 것입니다. 이렇게 표본 수에 따라 실험의 통계적 유의성을 오판할 수 있으므로 적절한 샘플 사이즈를 실험에 앞서 결정하는 것이 중요합니다. 그리고 이를 위해 필요한 것이 검정력 분석(power analysis)입니다. 2. Power Analysis 검정력 분석은 4가지 인자(factor)에 영향을 받습니다. 그리고 아래 4가지 인자 중 3가지 인자가 결정되었을 때 나머지 하나의 변수 값을 구하는 분석입니다. - 통계적 검정력(statistical power): 대립가설(alternative hypothesis)이 사실일 때 귀무가설(null hypothesis)을 기각(reject)할 확률 - 샘플 사이즈(sample size): 주어진 검정력(power)을 보장하기 위해 필요한 최소한의 관측치 수 - 유의 수준(Significance level): 귀무가설(null hypothesis)이 사실임에도 이를 기각(reject)할 확률 - 효과 크기(effect size): 비교하려는 집단 사이에 얼마나 차이가 있는지를 나타내주는 지표 4가지 인자 중 특히 주목해야 할 것이 효과 크기입니다. 그 이유는 실험의 통계적 유의성도 중요하지만, 비즈니스에서의 효과 크기도 중요하기 때문입니다. 예를 들어 아래와 같은 실험 결과가 나왔을 때는 통계적으로 유의하더라도, 실제 비즈니스에서의 효과 크기 즉 구매전환율에서의 차이는 크지 않습니다. 많은 트래픽이 발생하는 서비스의 경우 작은 비율의 상승으로도 큰 비즈니스 효과로 이어질 수 있지만, 트래픽이 그렇게 크지 않은 서비스의 경우 더욱 큰 비율의 상승이 있어야 의미 있는 비즈니스 효과로 이어질 수 있습니다. 그러므로 각자 비즈니스 상황과 실험의 목표를 고려하여 A/B 테스트 샘플 사이즈 계산기의 “Minimum Detectable Effect”를 설정해야겠습니다. 더 자세한 내용은 아래 링크를 참고해주세요.