A/B 테스트 과정에서 맞닥뜨릴 수 있는 문제2. 불균등한 샘플 분배, 어느 정도 차이가 문제인걸까? 그리고 해결방법은?
Medium
AB Test 중 불균등한 샘플 분배에 대한 글
핵클에서 근무하고 계신 데이터 과학자분의 글입니다. AB Test에서 그룹 간 샘플 크기가 대등하길 바라지만, 균형이 깨질 때 어떻게 해야할지에 대한 글입니다. 실용적인 관점의 글이니 실험 고민이 있다면 읽어보셔요.
Q) 그룹간 샘플 크기가 균등하게 분배가 안되면 어떤 문제가 발생하는지?
P value가 왜곡될 수 있음
실험 결과의 신뢰성을 저하시킬 수 있고, 잘못된 의사 결정을 유도함
해결 방법
샘플 크기 재조정
가중치 적용
Welch's t-test 검정
재시작
불균등 분배를 사전에 감지하는 방법 : SRM(Sample Ratio Mismatch)
Q) SRM을 어떻게 감지하나요?
관찰된 빈도가 기대되는 빈도와 유의미하게 다른지 검증할 때 사용하는 Chi-Squared Goodness of fit test(카이스퀘어 적합도 검정)을 사용
Q) SRM은 어떤 경우에 발생하나요?
가장 빈번한 원인 : 트래픽 할당 로직 오류
https://medium.com/@khjin1002/a-b-%ED%85%8C%EC%8A%A4%ED%8A%B8-%EA%B3%BC%EC%A0%95%EC%97%90%EC%84%9C-%EB%A7%9E%EB%8B%A5%EB%9C%A8%EB%A6%B4-%EC%88%98-%EC%9E%88%EB%8A%94-%EB%AC%B8%EC%A0%9C2-%EB%B6%88%EA%B7%A0%EB%93%B1%ED%95%9C-%EC%83%98%ED%94%8C-%EB%B6%84%EB%B0%B0-%EC%96%B4%EB%8A%90-%EC%A0%95%EB%8F%84-%EC%B0%A8%EC%9D%B4%EA%B0%80-%EB%AC%B8%EC%A0%9C%EC%9D%B8%EA%B1%B8%EA%B9%8C-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%ED%95%B4%EA%B2%B0%EB%B0%A9%EB%B2%95%EC%9D%80-de287bce1643
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 8월 26일 오후 1:13
댓글 0
함께 읽은 게시물
< 애플을 구한 건 스티브 잡스의 '두 번째 버전'이었다 >
1. 20대의 스티브 잡스가 했던 행동과 50대에 그가 보여주었던 효율적인 리더십을 혼동하면 안 된다.
“To jobs that pay the rent! 집세 내주는 직장을 위해!” 영화 <악마는 프라다를 입는다>에 나온 대사다. 저널리스트를 꿈꾸는 대학 졸업생인 주인공. 하지만 그녀는 당장 생계를 위한 일자리가 급하다.
... 더 보기
‘경영의 신’이란 칭호를 받은 마쓰시타 고노스케는 경영자가 가져야 할 가장 중요한 자질을 ‘인간에 대한 이해’라고 했다. 경영의 진짜 핵심을 찌른 이야기다. 경영이란 무엇인가? 한마디로 ‘사람을 움직여 가치를 창조하는 업(業)’이다.
... 더 보기< 음악 산업의 미래는 음반이 아니라 '굿즈'다 >
1. 굿즈 사업의 미래는 밝아 보인다.
하나부터 열까지 리더가 상세히 설명해 주기를 바라는 구성원이 있습니다. 반대로 큰 얼개만 듣고 나머지는 자율적으로 하고 싶어 하는 경우도 있죠. 회식에 참여하는 것을 너무나 힘겨워 하는 구성원이 있는 반면, 동료들과 함께 시간을 보내며 가까워지는 것을 원하는 구성원도 있습니다.
... 더 보기
