기본적으로 A/B 테스트는 데이터의 크기가 충분하지 않다면 오히려 노이즈를 만들어낼 가능성이 높다. 또한 비교를 한다는 것 자체가 의미하는 바도 무엇인가 이미 있고 그걸 개선 혹은 최적화하고 싶다는 걸 의미한다. 즉 지금 없는 새로운 기능을 만들어낼 때는 A/B 테스트는 불가능하다. 또한 비교가 힘든 테스트들도 있다. 예를 들면 상품이나 서비스의 최적의 가격대를 알아내는 A/B 테스트는 쉽지 않다. 로그인해야만 가격을 볼 수 있는 서비스가 아닌 다음에는 사용자들마다 다른 가격대를 일관되게 유지한다는 것이 먼저 쉽지 않고 소문이 나기도 쉽지 않으며 낮은 가격대에 반응이 더 좋을 가능성이 아주 높다.

A/B 테스트는 흔히 이야기하는 Data Driven Decision의 최고봉이라 볼 수 있는데 지금 하는 일을 최적화하는 형태로 가는 것이 아니라면 Data Informed Decision이 더 좋다 생각한다. 이 두 가지의 결정방식은 비슷한 의미이지만 Data Driven Decision은 내 주관은 별로 없고 데이터가 이야기하는대로 결정을 한다는 뉘앙스가 있다면 Data Informed Decision은 내 주관이 분명히 있고 최종 결정을 하기 전에 데이터를 참고하며 때로는 데이터가 해주는 이야기의 반대방향으로도 결정할 수 있어야 한다는 거다. 많은 의사결정권자들이 더 많은 데이터/자료를 요구하며 결정을 뒤로 미룬다. 이런 환경에서는 데이터팀이 고생한다. 결정을 하기 위한 미팅에서 결정을 하는 것이 아니라 결정을 돕는다는 핑게로 더 많은 지표를 만들고 더 많은 리포트를 만드는 일이 생긴다.

A/B 테스트도 잘 하고 싶다면 가설을 잘 세우는 버릇을 만들 필요가 있고 때로는 사용자 설문이나 다른 방법으로 대신 할 필요도 있다. 야후, 유데미 등에서 A/B 테스트 분석과 구현 등에 직간접적으로 관여를 하면서 배운 교훈들을 유데미에서 온라인 강의로 만들었다. 댓글 링크 참고