[기획자가 데이터를 의심하는 방법] CASE 1: 텍스트 위주의 홈 탭 UI를 이미지 카드로 개편한 후 콘텐츠 평균 클릭율이 100% 올랐다는 요약 리포트를 전달 받았다. 그렇다면 이 개편은 성공인

[기획자가 데이터를 의심하는 방법] CASE 1: 텍스트 위주의 홈 탭 UI를 이미지 카드로 개편한 후 콘텐츠 평균 클릭율이 100% 올랐다는 요약 리포트를 전달 받았다. 그렇다면 이 개편은 성공인 걸까? 의심의 사고흐름: 노출 콘텐츠의 총 개수 즉, 사용자의 선택지를 줄여 클릭률을 높인 것이라면? 전체적으로 사용자 1회 방문당 기대 소비 콘텐츠 수는 줄어들지 모른다. 또 이것이 사용자의 총 콘텐츠 소비 시간(Duration Time 또는 Session Time)을 줄여 광고 수익에 영향을 줄 수도 있다. 이 경우 손해 나는 개편이었던 것. 뭉뚱그린 평균 클릭률 지표만 비교해서는 이런 내용을 알 수 없다. CASE 2: 매주 추천 콘텐츠를 사용자 푸시 알림으로 보내주는 프로덕트 B. 웬만한 마케팅 비용을 들일 때보다 클릭율도 높고 리텐션도 오르고 있다. 그렇다면 푸시 주기를 3일에 한 번으로 늘려도 될까? 의심의 사고흐름: 하루 1회 꾸준히 방문하는 충성 사용자의 푸시 알림 클릭율을 파악해보니 오히려 줄고 있었다면? 이들은 처음 푸시 알림을 보고 호기심을 가졌던 것 이상의 만족을 기대하고 있을 수도 있다. 아직 유의할 정도의 이탈로 이어지지는 않았지만 재방문 주기가 점점 길어질지도 모른다.