AB테스트에 대해서 많은 분들이 가지고 있는 오해 중 하나는, "한번 검증된 사실이 영원하다(?)" 라는 것 같습니다. 실제로 AB테스트는 Optimal Solution을 찾는 방법론이 아니라 주어진 제약조건 하에서의 국지적 최적점을 찾는 방법론이며, 시간의 흐름에 따라 그 결과가 얼마든지 달라질 수도 있습니다. (서비스도 바뀌고, 유저도 바뀌고, 사용 맥락도 바뀔 수 있으니까요)

실제 딜라이트룸에서 거의 동일한 AB테스트를 시차를 두고 진행해서, 다른 결론을 이끌어 낸 사례에 대해서 PO인 Stephan이 깔끔한 글을 정리해 주셨습니다.