A/B TEST를 했는데, 모수가 너무 작습니다. 의미가 있을까요?

Question

런칭한 지 얼마 안 됐고, 디자인 안이 여러 개 나온 상태에서 어떤 걸 고를지 판단이 안 서서
 A/B TEST를 진행했습니다. 전환율에는 분명 차이가 있는데 전체 모수가 너무 적어서 이걸 
근거로 판단해도 되는지 모르겠는데요. A/B TEST가 유효한 지 검증하려면 모수가 딱 얼마
 이상이어야 된다라는 보이지 않는 규칙이 있을까요?!

서영 · Accepted Answer

안녕하세요,

A/B 테스트의 신뢰도에 대해서 문의를 주셨는데요.
보통 신뢰도를 의미하는 p-value 값을 기준으로 판단합니다. 값이 0.05이하 나오면 이 테스트의 신뢰도가 95% 이상이라고 판단을 내릴 수 있습니다.

P-value 값 계산이 모수에 의해 이뤄지는 거라서 보통은 요 방법을 많이 활용합니다!
추가로 p-value는 직접 계산하는 건 어렵고, A/B 테스트를 세팅하는 대부분의 툴들에서 확인할 수 있습니다 :-)

한기용 · Answer

모수가 작아서 몇달을 돌려도 통계적으로 유의미한 결과를 얻기 불가능하다는 판단이 들면 제대로된 A/B 테스트를 하기 보다는 다른 방법으로 가는 것이 맞아 보입니다. 직관으로 가는 것도 방법이고 사용자 설문을 해보는 것도 방법이고 A/B 테스트 모수가 충분치 않아도 분명한 위너가 있으면 그걸로 가는 거죠. 초기에 제일 중요한 것은 빠른 iteration ("시간")입니다.

김은서 · Answer

인터넷에 A/B 테스트 계산기 검색해 보시면 통계적으로 유의미한 데이터인지 검색해 볼 수 있는 계산기가 나와요. 여기에 숫자 넣어서 계산해 보시는 것도 좋고 또 앰플리튜드에서는 significance 확인해 볼 수 있는 메뉴도 있어서 이런 것들 활용해 보셔도 좋을 것 같아요!

익명 · Answer

미리 감사드립니다 🙇‍♀️

홍영기 · Answer

모수가 적은 것 외에 , 추가적으로 몇가지를 더 고려해보시는게 좋을듯 합니다.
1. 테스트 기간
2. CPA 
3. 목표(cpa를 어느정도로 잡으셨는지, 모수가 어느정도 모이기를 원했는지 등)