전환율 최적화의 기본! A/B/n Testing

‖ A/B/n Testing은 2개 이상의 다른 버전을 활용하여 A/B 테스팅하는 방법입니다. 여기서 “n”은 추가 테스팅을 의미합니다. A/B Testing 과 마찬가지로 동일한 목적의 캠페인에 변수를 한 가지만 두고 실험하지만, A/B Testing 과는 다르게 기존의 A 버전 (대조군)과 두 개 이상의 실험군(B, C, …)을 두고 테스트합니다. ‖ A/B 테스팅을 계획할 때 주의해야 할 5가지 사항 A/B 테스팅은 간단해 보일 수 있지만 올바른 결과를 얻으려면 테스팅을 신중하게 계획해야 합니다. 그러기 위해 필요한 5가지 사항은 아래와 같습니다. 1. 테스팅하는 버전은 동시에 나와야 합니다. 시간은 테스트 결과에 영향을 줍니다. (계절성을 피하기 위함) 2. 변수는 오로지 하나만 두어야 합니다. 버전 간에는 한 번에 하나의 차이만 두고 실험해야 다른 영향은 배제할 수 있습니다. 3. 테스팅 모수는 충분해야 합니다. 통계적으로 유의미한 결과를 얻기 위해서는 충분한 샘플이 필요합니다. 4. 전환으로 측정하는 항목이 적절해야 합니다. 테스팅의 궁극적인 목적에 맞게 측정 항목을 선정해야 합니다. 5. 여러가지 A/B 테스트를 실행하는 경우 대조군(Control ) 버전도 정의해야 합니다.