AB Test 중 불균등한 샘플 분배에 대한 글

핵클에서 근무하고 계신 데이터 과학자분의 글입니다. AB Test에서 그룹 간 샘플 크기가 대등하길 바라지만, 균형이 깨질 때 어떻게 해야할지에 대한 글입니다. 실용적인 관점의 글이니 실험 고민이 있다면 읽어보셔요.

Q) 그룹간 샘플 크기가 균등하게 분배가 안되면 어떤 문제가 발생하는지?

• P value가 왜곡될 수 있음

• 실험 결과의 신뢰성을 저하시킬 수 있고, 잘못된 의사 결정을 유도함

• 해결 방법

  • 샘플 크기 재조정

  • 가중치 적용

  • Welch's t-test 검정

  • 재시작

불균등 분배를 사전에 감지하는 방법 : SRM(Sample Ratio Mismatch)

Q) SRM을 어떻게 감지하나요?

• 관찰된 빈도가 기대되는 빈도와 유의미하게 다른지 검증할 때 사용하는 Chi-Squared Goodness of fit test(카이스퀘어 적합도 검정)을 사용

Q) SRM은 어떤 경우에 발생하나요?

• 가장 빈번한 원인 : 트래픽 할당 로직 오류

https://medium.com/@khjin1002/a-b-%ED%85%8C%EC%8A%A4%ED%8A%B8-%EA%B3%BC%EC%A0%95%EC%97%90%EC%84%9C-%EB%A7%9E%EB%8B%A5%EB%9C%A8%EB%A6%B4-%EC%88%98-%EC%9E%88%EB%8A%94-%EB%AC%B8%EC%A0%9C2-%EB%B6%88%EA%B7%A0%EB%93%B1%ED%95%9C-%EC%83%98%ED%94%8C-%EB%B6%84%EB%B0%B0-%EC%96%B4%EB%8A%90-%EC%A0%95%EB%8F%84-%EC%B0%A8%EC%9D%B4%EA%B0%80-%EB%AC%B8%EC%A0%9C%EC%9D%B8%EA%B1%B8%EA%B9%8C-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%ED%95%B4%EA%B2%B0%EB%B0%A9%EB%B2%95%EC%9D%80-de287bce1643