대부분의 플랫폼 기업이 수없이 AB테스트를 통해 제품을 바꾸고 있다는 사실은 이제 IT기업 종사자가 아니더라도 다들 아는 사실입니다. 같은 제품, 같은 화면에서 서로 다른 부분을 발견하면 이런 기분

대부분의 플랫폼 기업이 수없이 AB테스트를 통해 제품을 바꾸고 있다는 사실은 이제 IT기업 종사자가 아니더라도 다들 아는 사실입니다. 같은 제품, 같은 화면에서 서로 다른 부분을 발견하면 이런 기분이 듭니다. "나 지금 AB테스트 '당'하고 있는 거 아닌가?" 왜 사용자는 당하고 있다는 생각이 들까요? 서비스 제공자는 더 좋은 서비스를 제공하기 위해 열일을 하고 있을 뿐인데 말이죠. 테스트를 당하고 있다는 께름칙한 기분은 유의미한 차이를 가지는 두 가지 옵션 중 자신이 '더 안좋은 것'에 노출되어있다고 생각하기 때문입니다. 그리고 이것은 사실입니다. 우리가 더 나은 옵션인 A를 절반의 고객에게 제공하는 동안, 나머지 절반의 고객은 (A에 비해 안좋은) B의 경험을 강요당하게 됩니다. 저는 단순히 고객에게 AB테스트가 진행중임을 알려야한다고 말하는 것이 아닙니다. 서비스 제공자 입장에서도 AB테스트는 '기회비용'이 발생한다는 것을 말하고 싶습니다. "A/B 테스트는 특정한 (기능, UI 등) 변경에 대한 비즈니스 리스크를 제어하는 방법입니다. 그리고 이 A/B 테스트에는 우리의 일부 고객(대조군)에게 조금은 덜 좋은 경험을 하게 하는 기회비용과 같은, 시간과 연관된 비용이 있습니다. 당연하게도 이 비용은 실험이 길어지면 길어질수록 더 증가합니다." 우리는 적절한 효과 기준(MDE, Minimum Detectable Effect)을 설정해서 AB테스트의 리스크와 비용을 조절하는 것이 중요합니다. 통계적 유의성이나 (p value) 검정력(power)등은 적절한 가이드 값이 안내되어있지만, MDE는 정답이 없습니다. 비즈니스, 프로덕트, 팀의 맥락을 파악해서 적절한 수준을 결정하는 능력이 데이터를 다루는 사람들에겐 계속해서 필요할 것입니다!