리멤버에서 UT를 진행하는 방법

프로덕트 피쳐가 배포되기 이전에 사용성 테스트(UT) 를 진행한다면 더욱 유저에게 의미있는 프로덕트를 제공할 수 있게 되는데요. 리멤버에서 새로운 피쳐가 배포되기전에 사용성 테스트를 진행하며 경험한 UT 설계와 모더레이팅 과정에서 느낀 인사이트를 공유해주신 글이 있어 전달드립니다. 🏃‍♂️UT는 언제 진행하나요 ? 사용성 테스트는 신규 기능을 기획하는 단계 또는 신규 기능을 런칭하기 전 실제 사용자에게 보여드리면서 우리 생각대로 사용하는지, 문제점은 없는지 검증하기 위해 진행합니다. 특히 첫 화면을 신규로 만드는 경우는, 기존 대비 사용자가 불편하게 느끼시는 부분은 없는지 사전에 확인하는 것이 중요합니다. 👁️ UT 설계 UT는 '설계가 80%다.' 라는 생각이 들 정도로 설계 과정이 매우 중요합니다. UT 대상자는 누구를 어떤 과정으로 모집할 것인지, 인터뷰는 온라인으로 할 것인지, 오프라인으로 할 것인지, 인터뷰 관찰자는 어떤 방식으로 참여할지 등등 준비할 것이 생각보다 많습니다. - 인터뷰 대상자 선정: 사용자 행위에 영향을 미치는 조건을 리스트업 합니다. - 인터뷰 대상 리크루팅: 우리가 선정한 대상자들에게 인터뷰 정보를 안내하고 모집합니다. - 역할 분담: 인터뷰는 신규. 피처를 함께 기획했던 PO와 PD가 협업하여 진행 - Task 작성: UT를 통해 확인하고 싶은 내용을 중심으로 Task를 설계하고 성공 기준과 실패 기준을 정합니다. - 프로토타입 준비: 인터뷰에서 검증하고 싶은 가설을 확인할 수 있는 형태로 준비합니다. - 리허설 진행: 실제 환경과 동일한 환경을 조성하고 사내에서 인터뷰 대상자를 1명을 선정 후 진행 - 인터뷰 환경 세팅: 오프라인 대면 인터뷰 일 경우 미팅룸, 카메라와 같은 사전 환경세팅이 필요합니다. 😎 UT 진행 저는 이번 사용성 테스트에서 UT 설계와 모더레이팅을 담당했습니다. 모더레이팅 입장에서 인터뷰를 어떻게 진행하고 이 과정에서 유의해야 할 부분은 다음과 같습니다. - 인터뷰 안내 및 사전 질문: 사전에 미리 인터뷰 방식에 대해 안내하지만 시작 직전 대상자에게 인터뷰 과정에 대해 다시 한번 안내합니다. - 인터뷰 진행: 충분히 관찰해야 하고, 발견 부분 중심으로 질문하고, 역으로 제품에 대해 질문이 들어올 경우 대답해야 합니다. - 인터뷰 종료: 준비된 Task를 진행하며 인터뷰가 충분히 진행이 되었다고 판단되면 대상자에게 종료 안내를 합니다. - 인터뷰 종료 후: 진행된 인터뷰에 부족한 부분이나 개선점은 없었는지 대해 정리합니다. 🏋️ UT 분석 및 인사이트 도출 인터뷰 종류 후 녹화본과 작성했던 관찰 문서를 토대로 UT 내용을 분석합니다. - Task 달성 결과 지표 분석: Task 별로 사전에 정의한 성공 지표를 기준으로 대상자들이 얼마나 성공했는지, 공통적으로 보인 행동은 어떠했는지 내용을 작성하고 분석합니다. - Key Findings: 관찰 문서를 토대로 공통적으로 발견된 현상들을 정리합니다. - 인사이트 도출: 위의 내용을 조합하여 현재 피처에서 유지하는 부분과 개선이 필요한 부분을 파악합니다. 🕺🏻 UT 이후 어떤 부분이 개선되었는지? UT를 통해 변경된 대표적인 예는 리멤버의 '오늘의 소식' 영역입니다. 리멤버는 매일 사용자가 가장 먼저 확인해야 할 소식을 가장 잘 보이는 곳에 안내함으로써 빠르게 소식을 확인하고 상세 내용에 접근할 수 있도록 의도했지만, 실제 UT에서는 사용자가 해당 영역 자체를 인지하지 못하거나 광고로 인지하는 경우가 많았습니다. 이후 기존안과 해당 영역을 다른 콘텐츠와 동일한 형태로 제공하는 안으로 A/B 테스트를 진행했고, 기존보다 60% 더 많은 전환율이 일어나는 것을 확인했습니다.