A/B TEST를 했는데, 모수가 너무 작습니다. 의미가 있을까요?

안녕하세요, A/B 테스트의 신뢰도에 대해서 문의를 주셨는데요. 보통 신뢰도를 의미하는 p-value 값을 기준으로 판단합니다. 값이 0.05이하 나오면 이 테스트의 신뢰도가 95% 이상이라고 판단을 내릴 수 있습니다. P-value 값 계산이 모수에 의해 이뤄지는 거라서 보통은 요 방법을 많이 활용합니다! 추가로 p-value는 직접 계산하는 건 어렵고, A/B 테스트를 세팅하는 대부분의 툴들에서 확인할 수 있습니다 :-)

모수가 작아서 몇달을 돌려도 통계적으로 유의미한 결과를 얻기 불가능하다는 판단이 들면 제대로된 A/B 테스트를 하기 보다는 다른 방법으로 가는 것이 맞아 보입니다. 직관으로 가는 것도 방법이고 사용자 설문을 해보는 것도 방법이고 A/B 테스트 모수가 충분치 않아도 분명한 위너가 있으면 그걸로 가는 거죠. 초기에 제일 중요한 것은 빠른 iteration ("시간")입니다.

인터넷에 A/B 테스트 계산기 검색해 보시면 통계적으로 유의미한 데이터인지 검색해 볼 수 있는 계산기가 나와요. 여기에 숫자 넣어서 계산해 보시는 것도 좋고 또 앰플리튜드에서는 significance 확인해 볼 수 있는 메뉴도 있어서 이런 것들 활용해 보셔도 좋을 것 같아요!

미리 감사드립니다 🙇‍♀️

모수가 적은 것 외에 , 추가적으로 몇가지를 더 고려해보시는게 좋을듯 합니다. 1. 테스트 기간 2. CPA 3. 목표(cpa를 어느정도로 잡으셨는지, 모수가 어느정도 모이기를 원했는지 등)