💦나만 모르는 프로덕트 관리 이야기 [✏️리텐션 데이터 해부하기] (👀간단 요약) 프로덕트 애널리틱스의 글로벌 리더인 Amplitude가 제시하는 기준을 가지고 가장 일반적인 리텐션 측정 방법을 통해 재방문 유저수를 집계하는 기준에 따라 리텐션을 측정하는 3가지 방법을 알아보겠습니다. 📌 N-Day Retention : 첫 유입 시점 이후, 리텐션 분석 기간 중 특정 날짜에만 재방문한 유저수 ✓ 예를 들어, 7일 기준 리텐션을 분석한다고 가정합시다. 이 때 특정 코호트의 모집단 수가 100명인데 이 중 10명의 서로 다른 사용자가 Day 2에 방문했다면, 이 코호트의 Day 2 리텐션 비율은 10%입니다 ✓ 가장 일반적인 리텐션 분석 방법으로, Classic Retention이라고도 부릅니다 📌 Unbounded Retention : 첫 유입 시점 이후, 특정 날짜를 포함한 그 이후의 날짜에도 한 번 이상 재방문한 유저수 ✓ 이번에는 분석 기간을 3일로 두고 리텐션을 분석한다고 가정합시다. 이 때 특정 코호트의 모집단 수는 3명(A, B, C)인데 이 중 A와 B는 Day 1에 방문했지만 C는 Day 3에만 방문했습니다. 이 경우, Day 1 리텐션은 100%입니다. 왜냐하면 C는 분석 기간인 3일 가운데 1번 이상 방문한 사용자에 해당하기 때문입니다. ✓ Unbounded 리텐션은 분석 기간 이내에 1번 이상 재방문한 유저의 리텐션을 특정 날짜로부터 1일씩 증가시키면서 측정할 수 있는데요. 이런 의미에서 Rolling Retention이라고도 부릅니다. 📌 Bracket Retention : N개로 나누어진 리텐션 분석 기간에서 각 구간별로 재방문한 유저수 ✓ 예를 들어, Bracket 리텐션에서는 총 7일의 분석 기간을 3가지로 구분해서 Day 1-3 / Day 4-5 / Day 6-7 각 구간별로 재방문한 유저들을 확인하게 됩니다. ✓ 여기에서 중요한 점은 역시 이전 구간에서 재방문한 유저는 다음 구간에서 재식별이 되냐, 안되냐에 대한 여부일 것입니다. 결과적으로는 이전 구간에 방문한 사용자라고 할 지라도 이후 구간에서 다시 한번 재식별이 가능합니다. (Unbounded 리텐션의 경우, 분석 기간 내에서 특정 유저의 재방문수를 1번 이상 집계하지 않습니다) ✓ 특정 구간별 리텐션을 분석한다는 의미에서, Range Retention이라고도 부릅니다. 📌 샘플 프로젝트 진행 : 음원 스트리밍 서비스 데이터, 무료/유료 이용 고객의 7일 기준 리텐션 ✓ 분석 기간 : 2020. 08. 20 부터 직전 7일 ✓ 시작 이벤트 : new user (앱과의 첫 상호작용) ✓ 재방문 이벤트 : any active event ✓ 코호트 A : 무료 이용 고객 ✓ 코호트 B : 유료 이용 고 ✓ 리텐션 분석 기간 : 7일 1️⃣ N-Day 리텐션 : 가장 일반적이고 간단한 분석 방법 ✓ (자세한 차트는 원문을 확인해주세요.) Day 1부터의 리텐션을 살펴보면 유료 이용 고객의 리텐션이 월등히 높음 ✓ Day 7에는 각각 하락하는 추세 확인 가능 ✓ 이처럼 특정 날짜에만 되돌아 오는 유저들의 비율을 확인하고자 할 때 N-day 리텐션을 사용 2️⃣ Unbounded 리텐션 : 똑같은 유저 데이터셋을 가지고 좀 더 포괄적으로 재방문 유저수를 측정하는 방법 ✓ 재방문 유저수를 집계하는 윈도우를 특정 날짜 하루가 아니라, 분석 기간의 끝까지 가져감 ✓ N-day 리텐션에 비해 더욱 포괄적으로 유저의 재방문을 측정 ✓ 동일 날짜에 측정된 리텐션임에도 불구하고 N-day 리텐션에 비해 수치가 높을 수 있음 ✓ 특정 날짜에 방문하지 않았더라도 분석 기간 내 1번 이상 방문하면, 해당 날짜 리텐션의 분자에 포함 되기 때문 3️⃣ Bracket 리텐션 : 분석 기간을 N개의 구간으로 쪼개서 리텐션을 확인할 수 있는 방법 1달에 1번 또는 1주일에 1번 등 특정 주기로 앱을 사용하는 경우, 해당 주기 안에서 1번 이상 재방문하기만 하면 이는 곧 유의미한 리텐션. N-Day 리텐션으로 이들의 리텐션을 분석한다면 어떻게 될까요? 분명히 정상적인 주기로 앱을 사용한건데, 딱 어느 날짜에 재방문하지 않았기 때문에 특정 코호트의 잔존율이 낮다고 평가될 것. ✓ 유용하게 사용될 수 있는 경우는 할인 프로모션 등 마케팅 캠페인 진행 효과를 분석하고자 할 때 ✓ 이벤트 실행 구간과 미실행 구간을 구분해서 리텐션을 볼 때에 해당 ✓ 해당 구간들을 Bracket으로 설정해서 이벤트 집행과 리텐션 변화 간의 상관관계를 확인 📌 Insights 앞서 살펴본 3가지 리텐션 측정 방법을 통해 얻을 수 있는 중요한 인사이트는 무엇일까요? 동일한 원본 데이터를 가지고도 측정하는 방법이 어떠냐에 따라 리텐션이 높아보일 수도, 적어보일 수도 있다는 것입니다. (👋중요한 이유가 뭔가요?) 제가 아직 그런 실력은 아니지만, 기획 - PM 담당 면접을 볼 때, 중요하게 본 데이터나 지표가 있는지 꼭 물어보는데요. (1)담당했던 서비스와 맞는 지표인지 (2)그 지표를 왜, 어떻게 들여다봤는지 확인하고 싶은 마음 때문입니다. 본문 마지막 인사이트에도 담겨있지만, 데이터를 어떻게 들여다보느냐에 따라 해석은 전혀 달라질 수 있기에 더더욱! 그런데, D+7 기준 리텐션을 자주 봤습니다. 라는 답에, 다시 왜요? 이유가 뭘까요? 라고 되물으면 대답을 잘 못하는 분들이 있었어요. 일부는 이전부터 그렇게 데이터를 봐왔고 중간에 들어와서 그 데이터를 그대로 이어서 보게 되었다 - 라고, 일부는 스터디에서 가장 효율적인 분석 기간이라는 결론을 얻었다 - 라고 답했는데요. 본문에 나온 음원은 물론, OTT와 같은 서비스들은 거의 매일 사용할 가능성이 높고 실제로 자주 들어와서 콘텐츠를 소비하는게 중요한 지표가 될 수 있는데요. 동일한 세그먼트를 기준으로 했을 때 은행앱도 매일 써야 할 이유가 있을까요? 영화 예매 서비스는요? 중요한 건 우리 서비스의 특성이라고 생각해요. 서비스의 성격에 따라 사용자들이 어느 간격으로 쓰는지 등에 대한 분석 기준을 잡을 수 있고 그에 따라 더 자주 쓰게 하자! 아니면 자주 들어오지 않더라도 들어올 때 특정 전환을 발생시킬 수 있도록 하자! 라는 목표를 설정할 수 있기 때문입니다. (💌함께 읽어보세요!) ✓ 우리 서비스의 유저 세그멘테이션 하기 : https://news.publy.co/comments/10310 ✓ Azar의 공정한 A/B test 운영 시스템 ABzar : https://news.publy.co/comments/9208