<AB 테스트의 가장 큰 함정 : 재현불가 - Your AB Tests Are Subject To The Replication Crisis > ■ A/B 테스트 수행 시 가장 간과하기 쉬운 문제는 재현불가 문제 Replication Crisis 다. 모든 테스트와 실험은 재현이 가능해야하고, 그 결과도 동일하게 나와야 한다.. 똑같은 환경에서 다시 테스트를 진행하였을 때, 동일한 결과가 나오지 않는다면 그건 올바른 결과도 아니고 잘된 실험이 아니다. ■ 사실 이런 재현불가 문제는 꼭 업무로 행하는 A/B테스트에서만 나타나는 건 아니다. 엄격한 검증을 거치는 학계에서조차도 종종 일어나는 일이다. ■ 긍정적인 결과에 대한 보상이 있을 때, 실험자들은 그 결과를 얻기 위해 종종 잘못된 실험도 불사한다. 과학자들은 스폰서를 위한 실험을 설계하기도 하고, 마케터들은 KPI 달성을 위한 긍정적 결과를 내기 위한 테스트 결과를 요구받기도 한다. ■ 이런 문제를 막기 위해 테스트에 대한 엄격한 룰을 만드는 것은 사실 의미가 없다. 데이터를 취사선택하거나 조작하면 그만이다. "p value가 0.05이면 가설 채택" 은 큰 의미가 없다. 원데이터를 건드리거나 실험 설계를 좀만 건드리면 가설은 금방 채택된다. ■ 좋은 실험은 결국 결과를 얻는 것이 아니라 실험 과정에서 무엇을 배우고 어떻게 하느냐가 중요하다. A/B테스트는 좋은 것을 골라내기 위한 것이 아니고 고객을 더 잘 이해하고, 변화에 대한 임팩트를 알아내는 것이다. ■ 결국 좋은 실험을 위한 문화를 만들어야 한다. 그렇지 않다면 부정적인 결과는 사라지고, 사람들은 긍정적인 결과를 얻기 위한 인위적이고 의미 없는 테스트만 반복할 것이다.