AB 테스트의 한계에 대해 이야기하는 글입니다. 저자의 논리는 1) 새 기능을 출시할 때 a/b테스트를 하는데, 새 기능 자체가 신선해서 그것의 실제 효용성과 상관없이 고객에게서 인기가 있을 수

AB 테스트의 한계에 대해 이야기하는 글입니다. 저자의 논리는 1) 새 기능을 출시할 때 a/b테스트를 하는데, 새 기능 자체가 신선해서 그것의 실제 효용성과 상관없이 고객에게서 인기가 있을 수 있다. 일종의 오픈빨(?)이 착시효과를 일으킬 수 있음 2) a/b테스트는 핵심고객을 대상으로 해서 실험이 진행될 가능성이 높은데, 이 경우 핵심고객이 전체유저의 활동성향을 대표하지 않는다는 단점이 있음. 우수고객 대상으로 a/b테스트 한 걸 전체 고객 대상으로 적용하는게 맞냐는 문제 3) a/b테스트는 실험 기간이 정해져 있기 때문에, 당장 효과가 좋은 항목이 나오더라도 막상 실제로 적용하고 나면 장기적으로는 도움이 안될 수도 있음. 그럼 어떻게 해야 할 지는 저자가 다음 글에서 쓰겠다고 하네요.. ㅎㅎ 다음에 업데이트 되면 다시 한 번 공유하겠습니다.!!