(AB test 이전에, 서비스에 대한 이해가 우선이다) 사실 많은 사람들이 AB 테스트에 대해서 오해하는 부분이 있다 일단 테스트를 통해 서비스에서 변경한 부분이 긍정적이 수치 상승을 일으킨다

(AB test 이전에, 서비스에 대한 이해가 우선이다) 사실 많은 사람들이 AB 테스트에 대해서 오해하는 부분이 있다 일단 테스트를 통해 서비스에서 변경한 부분이 긍정적이 수치 상승을 일으킨다고 보일 때 거기서 AB 테스트를 종료하는 것이다. 하지만 이는 장기적으로 보았을 때 매우 매우 좋지 않은 결과를 축적할 수 있다. 단기적으로는 빠른 테스트와 실행을 통해 서비스의 지표들이 올라가는 듯 하지만, 어느 시점이 지나가 그 수치들이 하락하는 그런 결과 말이다. 왜 그럴까? 빠르고 정확한 AB 테스트는 서비스 성장의 빛과 소금이 아니던가? 개인적으로는 테스트를 할 때 설정한 목표가 너무 근시안적이고 한정되거나, 아니면 수치는 증가 시키나 서비스의 장기적 전략으로 볼 때 고객들에게 서비스의 다른 기능들과 상반된 시그널 혹은 유저 경험을 제공할 때 문제가 생긴다고 생각한다. 그래서 아래의 링크에 이와관해 글을 써보았다