🎆[볼수록 안 좋은 Vanity Metric, 어떻게 구분해야 할까?] 겉보기엔 매력적이지만, 실질적인 성장을 가져오지 못한다는 점에서 우리는 이런 상황을 ‘허상 지표(Vanity Metrics

🎆[볼수록 안 좋은 Vanity Metric, 어떻게 구분해야 할까?] 겉보기엔 매력적이지만, 실질적인 성장을 가져오지 못한다는 점에서 우리는 이런 상황을 ‘허상 지표(Vanity Metrics)’ 에 매몰되었다고 간단히 표현할 수 있습니다. 그와 반대되는, 그리고 성장을 위해 적극적으로 살펴야 하는 지표를 ‘실질 지표(Actionable Metrics)’ 라고 칭하며 어떤 특징을 갖는지도 확인할 수 있습니다. 예로, ‘Total Revenue’ 에만 집중하면서 저지르게 되는 흔한 실수는 이렇게 나누어 생각해볼 수 있습니다. - 현상 : 허상 지표(Vanity Metric)에 우리의 리소스를 집중해서, 여전히 Profit Zone으로 진입하지 못했다. - 원인 : 우리에게 추가적인 이윤을 만들어줄 상관지표를 내부의 데이터로 선별하지 못했다. 그러다보니, 다른 스타트업의 성장 사례에 지나치게 의존하면서 맹목적으로 모방하기에 바빴다. - 해결책 : 우리의 Profit을 만들어줄 핵심 지표를 분명히 정의한다. (=Vanity Metric이 아닌 Actionable Metric을 찾고, 그것에 집중한다.) Actionable Metric은 외부의 정보가 아닌, 내부에서 확보된 유저 행동에 대한 심층 분석으로 찾아낸다. 순 방문자 수 자체가 부족한 상태라면 사뭇 받아들이기 어려운 접근일 수 있지만, 초기의 스타트업일수록 오히려 각종 지표들을 서비스 내에서의 전체 volume이 아닌 각각의 사용자/마케팅 채널에서 어떤 차이가 있는지 비교하는 unit economics 관점으로 접근해야 ‘우리에게 유의미한 고객과 시장’ 이 어디인지에 대한 분명한 결론을 도출해낼 수 있습니다. 이 글은 시리즈 물인데요. 3가지 주제를 차례 차례 다룹니다. 현재 공유 드린 링크에서는 1번에 대해서 다루고 있습니다. 1. 내부의 지표들을 토대로, Actionable Metric과 Vanity Metric을 어떻게 구분할 것인가 2. Vanity Metric에 다시 몰두하게 될 경우, 내부에서 이것을 어떻게 교정할 것인가 3. Actionable Metric에 다시 집중하게 됐다면, 선행 지표와 후행 지표의 상관 관계를 어떻게 계량화할 것인가 Vanity Metric의 반대 개념으로, 성장을 이끌어내는 유리한 지표는 ‘실질 지표(Actionable Metric)‘라고 규정하게 됩니다. ‘홍보하기 좋은 지표’, ‘겉으로 보기 좋은 지표’를 경계하라는 한마디만으로 Actionable Metric을 찾기는 모호하게 들릴 수 있습니다. 지금 전사적으로 집중하는 수치가 과연 유의미한지 간략히 진단하는 3가지 기준(3A test)입니다. 1️⃣후속 액션에 대한 인사이트를 제공하나요? 흔히 SMART KPI라는 방식으로도 지표의 중요성/우선순위를 고려하게 되는데, - Specific : 특정 이벤트에 구체적으로 집중할 수 있는지 - Measurable : 수치화할 수 있는지 - Achievable : 성취할 수 있는 방향의 변화를 추구하는지 - Realistic : 그 변화의 모멘텀은 현실적인 범위인지, 우리 비즈니스와 관련있는 내용인지 - Time-bound : 특정 기한 내에 실행할 수 있다는 계획 설정이 가능한지 이런 5가지 범주를 기준으로 하여 가장 명확히 답할 수 있는 지표가 있다면 집중해도 좋습니다. 위 내용을 바탕으로, 우리는 지표의 중요성/우선순위 검증을 단 한마디의 질문으로 시도할 수 있습니다. [우리의 목표]를 [설정한 지표]로서 [특정한 기간 안]에 [양적으로 몇%만큼] 증가시키며, [비용 효율은 몇%만큼] 개선시킬 수 있나요? 서비스의 핵심 목표가 B2B 리드의 창출인 상태에서, B2C 고객의 방문 증가가 그것을 도울 수 있는지 고민중이라면 - 리테일 고객의 방문 & B2B 리드 증가의 상관관계 검증을 해야할 것입니다. (Realistic/Specific) - 그리고 그 상관관계도가 통계적으로 유의미한지도 증명할 수 있어야 합니다. (Measurable/Achievable) - 상관관계도에 의해 수행한 각종 액션이 실제 어느 정도의 Impact를 주는지 확인할 수 있어야 합니다. (Measurable/Realistic) - 상관관계 & 지표 간 Impact 도출까지 확인됐다면, 그를 통해 어떤 프로젝트를 어떤 방식으로 수행하면 좋을지 검토합니다. (Time-bound/Achievable) 2️⃣반복 수행해도 동일한 결과를 만들어낼 수 있나요? SMART KPI에서 이야기한 내용들의 연장선상으로, 1번의 절차로 특정 캠페인/프로젝트에 대한 계획을 수립할 수 있었습니다. 하지만 그것이 반복수행을 했을 때 꾸준히 동일한 결과를 가져왔는지에 대해 질문해볼 필요가 있습니다. 3️⃣수집된 결과값들을 확실히 믿을 수 있나요? 최근에 알고리즘 개편을 단행한 인스타그램의 각종 이슈들을 떠올려보면 더욱 확실히 체감할 수 있습니다. ‘인스타그램은 팔로워 기반의 SNS다’ 라는 단순한 명제 때문에 팔로워를 늘리는 것에만 집중하다보면, ‘나와 소통하는 사람이 누구인가’에 대한 문제를 중요하게 생각하지 않을 수 있습니다. Brain Balfour 도 이런 문제에 대해서 아주 오래 전부터 지적해왔습니다. 절대적인 Volume보다도 관련성, Context에 대한 상호 기대수준이 일치하느냐를 더 중시하고 있는 것입니다. 즉, 실질 지표를 찾기 위해 중요한 것은 - ‘모든 지표를 충족하려는 순간 아무것도 개선시키지 못한다’는 것에 대한 빠른 수용 - 초기 Onboarding / Lock-in 유도 / 외부 확산 중 제일 중요하게 생각하는 내부 Agenda의 수립 - ‘어떠한 문제를 해결하기 위해 어떠한 지표를 향상시키는 프로젝트를 어느 기간에 걸쳐 시도한다’ 는 구조화된 의사결정 입니다.