🧪 내 실험을 위한 적절한 표본수는 얼마일까? MDE를 알라!

데이터분석가는 PO와 함께 서비스에 대한 AB테스트를 진행합니다. 그런데 AB테스트를 기획하거나 결과를 해석하다보면 이런 질문을 던지게 됩니다. Q. 이 가설이 확인되었다고 할 만큼 표본 수가 적절했나? 적절한 표본 수를 모으려면 얼마나 실험을 해야할까? 표본수가 너무 적으면 가설에 대한 검정이 제대로 이뤄지지 않을 것이고, 표본수가 너무 많으면 p-value 값이 표본수에 의해 조정되는 p-hacking이 일어날 것입니다! 그래서 적절한 표본수는 매우 중요하지요. 이런 질문에 답을 줄 수 있는 지표가 ‘MDE’ (Minimum Detectable Effect) 입니다! MDE에 앞서 ‘검정력 분석(power analysis)’를 설명하여야 하는데, 검정력 분석은 말그대로 ‘설계된 실험이 확인하고자 한 가설에 대해 얼마나 강한 검정력을 가지는가’를 분석하는 식입니다. 이 검정력을 분석하기 위해서는 4가지 인자가 필요합니다. (검정력 분석을 위한 각 인자에 대해서는 다른 포스팅에서 자세히 다뤄보겠습니다!) 1. 통계적 검정력: 대립가설이 사실일 때 귀무가설을 기각할 확률 (결과를 얼마나 믿을만한가?) 2. 샘플 사이즈: 위의 검정력을 보장하기 위해 필요한 표본의 수 3. 유의 수준: 귀무가설이 사실인데 기각할 확률(1종오류의 확률) 4. 효과 크기: 비교 집단 사이에서 핵심 지표가 얼마나 차이가 나는지 이 네 가지 인자 중 우리가 궁금한 것은 ‘샘플 사이즈’이기 때문에 나머지 3가지를 결정한다면 이 실험을 위한 적절한 표본수를 구할 수 있게 됩니다! 여기서 통계적인 수치인 통계적 검정력, 유의수준을 제외하고 실험자가 정해야 할 것이 ‘효과 크기’ 입니다. 이 효과 크기를 결정하기 위해서는 해당 실험이 서비스에서 어떤 의미를 가지는지, 우리가 기획하는 실험에서 두 그룹의 지표 차이가 얼마나 나야 비즈니스 임팩트가 있는 것인지를 결정하여야 합니다. 효과크기를 통해 우리는 통계적인 얘기만 하는 것이 아니라 실제 비즈니스에서 임팩트를 가져갈 수 있는 실험을 할 수 있게 됩니다. 이 때 결정해야 하는 최소한의 효과 크기가 MDE(Minimum Detectable Effect) 입니다! 예를 들어, “새로 기획한 버튼의 전환율이 기존 버튼보다 적어도 3%p 더 높은 전환율을 기록해야해”라는 MDE를 결정했다고 하면 실험 결과 A그룹(기존)의 클릭 전환율이 5%, B그룹(신규)의 클릭 전환율이 9%라면 신규 버튼에서 클릭 전환율이 4%p더 높아 MDE 기준인 3%p보다 유의한 수준으로 효과 크기 차이가 나고 신규 버튼을 채택하게 되는 것이지요! 이러한 MDE까지 결정하게 되면 세 가지 값을 집어넣고 이 실험을 위한 적절한 표본수를 구할 수 있게 됩니다. 이야기를 적다보니 길어졌는데요! 다음에 블로그에서 통계적인 이야기와 사례까지 자세히 포스팅을 해봐야겠습니다 🙂 검정력 분석을 하여 Sample Size를 구할 수 있는 사이트와 참고자료 링크까지 첨부드립니다! 🙂 - Sample Size Calculator: https://www.evanmiller.org/ab-testing/sample-size.html - 참고자료 - https://chaehwan-oh.github.io/2021/12/26/sample-size-calculator-statistics/ - https://blog.naver.com/hancury/222930747017