[AB 테스트 결과가 유의미하려면…]
“표본이 크면 클수록 같거나 더 작은 차이로도 유의미하다는 평가를 얻어낼 수 있다”
why? 우리는 지금 단순히 비율을 비교하는 게 아니다. 우리는 “이 비율의 차이가 정말로 믿을 수 있는 결과인지, 다른 경우에도 반복되어 우연이 아니란 걸 증명할 수 있는지” 알고 싶은 거다. “표본이 커서 모집단의 크기에 가까워질수록” 추측은 더욱 정확해지고, A와 B의 차이가 우연에 의해 발생할 가능성은 줄어든다.
즉 “두 그룹의 차이가 아무리 적어도 표본만 크면 충분히 유의미할 수도 있다”