A/B 테스트의 모수가 충분히 크다는 건?

안녕하세요 '모수가 크지 않아서 충분히 유의미한지 모르겠다'는 부분을 추측해보자면 'P-value'를 이용하는 '귀무가설'을 이용한 '통계 유의성 분석'(일명 빈도 주의)을 사용하고 있으신 거 아닐까 싶습니다. 저 또한 스타트업을 다닐 때는 모수가 적은데 어떻게 ab test를 하면서 개선할 수 있을까에 대한 고민이 많이 됐습니다. 그럴 때 사용한 것 중 한가지는 베이지안 테스트입니다. 베이지안 테스트는 두 가지 그룹을 상대적으로 비교하여 A그룹이 B그룹보다 목표 KPI가 개선될 확률을 직접 구하는 방법입니다. 수식과 코드는 베이지안에 대해서 구글링하면 쉽게 나오니 직접 한번 해보시면 더 잘 이해되실 겁니다 : )

https://neilpatel.com/ab-testing-calculator/ 저는 전환율 실험이면 여기에서 숫자 넣어봐요! 그러면 결과가 얼마나 유의미한지 퍼센테이지로 보여주더라고요.