이준구

Growth&Performance Marketing Manager

팔로우

✏️A/B 테스트와 통계의 오류? A/B 테스트는 특정 목적을 달성하기 위해 특정 변수를 기준으로 더 나은 대안을 찾아가는 방법입니다. 그리고 이 테스트의 결과값 비교는 대부분 전환율로 판단하는 경우가 많습니다. 하지만 테스트에 참여한 모수가 생각보다 적거나, 원본과 대조군의 차이가 얼마 없다면 결과에 대한 판단이 잘못될 수도 있습니다. P-value 등을 활용하여 신뢰도를 높이는 방법도 활용할 수 있지만, 가장 중요한건 확률의 싸움이라는 점을 인지하고 지속적으로 테스트하는 마인드가 아닐까 합니다. A/B 테스트는 안하는 것 보다는 하는게 더 좋고, 한번만 하는게 아니라 여러번 끊임없이 하는게 중요하니까요.

A/B 테스트와 P-Value

brunch