🅰️ A/A 테스트란?

프로덕트를 만드는 메이커라면 누구나 A/B 테스트라는 단어에 익숙합니다. A/B 테스트는 기획한 기능이 원하는 대로 문제를 해결하는지 확인하는 온라인 실험 방법입니다.가설을 검증하기 위해 실험군과 대조군을 나누어 실험하고 결과지표를 해석하지요! 하지만 특정 실험 플랫폼을 통한 A/B 테스트 결과를 신뢰할 수 있는지는 어떻게 판단할까요? 이럴 때 먼저 진행할 수 있는 것이 A/A 테스트입니다. [A/A 테스트는] * 실험군과 대조군을 동일한 조건으로 셋팅합니다 * 사실상 같은 콘텐츠와 기능으로 두 그룹에게 노출합니다 * 즉, 같은 조건에서의 두 그룹 결과지표를 측정하고 차이가 없는지를 먼저 테스트하는 것입니다! * A/B 테스트와는 반대로 핵심지표의 차이가 거의 없고 통계적으로 유의미하지 않을 때(p-value가 0.05 이상) A/A 테스트 통과! 병원에서 진단을 위한 의학기계를 가동하기 전에 항상 '칼리브레이션'을 하는 것과 동일한 원리이지요! (아무 처리도 하지 않은 상태에서 0에 가까운 값이 나오는지 확인하고 최적의 상태로 기계를 셋팅하는 것) 공유드리는 아티클에는 A/A 테스트가 무엇인지, 국내 실험 플랫폼 중 하나인 핵클의 활용 사례에 대해 나와있습니다! A/A 테스트를 잘 알면 신뢰할 수 있는 실험을 주도해나갈 수 있는 프로덕트 메이커가 될 수 있습니다 😃