산타토익 PM이 사랑하는 3가지 지표

뤼이드는 AI를 다루는 글로벌 에듀테크 회사로 산타(B2C)와 AIED(B2B)를 통해 사업을 확장하고 있습니다. 저도 참 관심있는^^ 기업인데 오늘은 산타팀에서 AI Tutor 제품을 고도화 시키고 계신 이승헌님의 UX 개선기를 들고 왔습니다. 오랜만에 굉장히 좋은 아티클을 읽은 것 같아 공유 드립니다. ⛳ Santa 팀의 목표: “AI Tutor 제품을 통해 학습 과정에서 발생하는 비효율을 줄여 보다 많은 학습자가 빠르게 학습 목표를 달성할 수 있도록 하자” 📌제품 특성: 학습자의 자발적인 참여와 학습 효과 📌배경: 사용자의 탐색과 선택의 경험을 강화하는 LX(Learning eXperience)를 만들어내는 일에 집중! * AI가 추천해주는 콘텐츠 경험의 한계를 보완하여 사용자의 주도적인 탐색을 강화하는 사용자 경험을 함께 제시한다면 더욱 다양한 상황과 맥락에서 사용자의 니즈를 깊게 충족시킬 수 있다고 판단 📌결과: 10월 6일 배포 이후에 선택학습 내 문제풀이 콘텐츠 학습량이 160%! 상승 그렇다면 LX설계의 관점에서 학습자가 자발적으로 선택해 학습하도록 유도하고, 나아가 교육의 효과성을 높이기 위해 본 3가지 지표는 무엇일까요? 1. 💡 사용자 참여도(User Engagement) 지표: 1인당 학습 콘텐츠 소비량 * 학습 콘텐츠 소비는 사용자가 제품에서 하는 가장 기본적인 활동! * 자발적인 학습 참여 정도를 가장 직관적으로 확인할 수 있는 지표! * 예시: 산타토익 내 낮은 점수대의 사용자들이 추천학습에만 의존한 채, 선택학습을 사용하지 않는 현상 발견 * 저점수대의 사용자들은 선택학습에 대한 니즈는 있지만 어떤 컨텐츠를 선택해야할지 모르거나, 원하는 콘텐츠를 찾지 못하고 있음 * AI가 산출한 예측 정답률을 기준으로, 컨텐츠를 비교, 선택할 수 있게 한다면, 1인당 선택학습 문제 컨텐츠 소비량이 증가할 것이다 라는 가설을 세우고 제품 개발 진행! * 해당 가설의 성공 여부를 판단할 떈 가설의 영향범위를 고려하여 성과 지표 명확히 정의하는 것이 중요 ('선택학습', '문제풀이', '저점수대'를 기준으로 합산하고 1인당 해당 기준의 소비량 지표 개선 여부 확인) 2. 💡 사용자 리텐션(User Retention) 지표: 학습 리텐션율 * 학습의 효과성을 높이기 위해서는 학습자가 꾸준히 학습하도록 유도하는 것이 매우 중요! * 학습 리텐션은 시간이 지나도 학습을 지속하는 사용자의 비율을 의미, 컨텐츠를 최소 1개 이상 소비한 날을 기준으로 계산. * 에듀테크 프로덕트에선 제품에 대한 전반적인 만족도를 높이는 것 이상으로, 사용자가 잊지 않고 학습을 지속할 수 있도록 동기부여 장치를 만들기도 함(ex. 듀오링고) * 이때 리텐션율의 성과를 판단하기 위해선 '코호트 기반 학습 리텐션율'을 대표적으로 활용(특정 기간 별 유저 코호트를 기준으로 일/주/월 별로 남아있는 사용자의 비율을 계산) 3. 💡 재구매율 * 에듀테크 제품, 특히 AI 튜터 제품에서는 커머스와 같이 잘 만들어진 상품을 중개하는 것이 아니라 제품의 경험 자체가 하나의 상품이 되는 SaaS 형태의 제품 특성을 가짐 * 이러한 도메인에서 재구매율은 제품에 대한 고객의 만족도와 충성도를 가장 잘 대변하는 행동 지표! * 교육 제품 특성상 사용자는 목표를 달성하면 이탈하기에, 사용자가 다시 유입되는 사이클을 만들기 위해 적극적인 바이럴 효과를 일으키는 것이 매우 중요(만족은 곧 추천으로 이어짐) * 총 구매자 중 재구매자의 비율을 구한 '평균 재구매율'을 산출 * 혹은 AB테스트 집단, 배퐇 주기별, 기간별등 세부적인 영향을 직접적으로 평가하기 위해선 ' 코호트 기반 재구매율'을 계산해보는 것이 좋다! 참고: https://yozm.wishket.com/magazine/detail/2317/ https://medium.com/riiid-teamblog-kr/santa-for-ai-toeic-%ED%95%99%EC%8A%B5-%EA%B2%BD%ED%97%98-%EA%B0%9C%EC%84%A0%EA%B8%B0-%EC%B7%A8%EC%95%BD%ED%95%9C-%EA%B0%9C%EB%85%90%EB%B3%84-%ED%95%99%EC%8A%B5-%EC%BD%98%ED%85%90%EC%B8%A0-%EC%84%A0%ED%83%9D-%EA%B2%BD%ED%97%98-%EA%B0%95%ED%99%94-2d25c1098099