사용성 문제는 평등하지 않습니다.

“5명만 만나보면 대부분의 문제를 알아낼 수 있어요.. 한 .. 85%?” 정말 그런가요? 주로 인용되는 근거는 ‘A Mathematical Model of the Finding of Usablility Problems라는 제목으로 1993년에 출판된 논문입니다. 논문을 조금만 깊게 읽어보면 5명만 만나보면 된다는 명제는 쉽게 성립하지 않는다는 것을 알 수 있습니다. 스프레드 시트와 같은 오피스 프로그램은 시스템이 복잡해서 발견할 문제가 많고 (145개), 한 번의 평가로 발견되는 문제의 비율이 가장 적습니다(16%). 반면에 달력 프로그램은 발견할 문제의 수도 적고(40개), 단 한 번의 평가로 36%의 문제를 찾을 수 있습니다. 오피스 프로그램의 2배가 넘죠. 사용성 문제는 누구에게나 같은 확률로 일어나지 않습니다. 직관적으로 생각해도 단순한 기능의 테스트를 하는데 많은 수의 사람이 필요하지 않고, 복잡한 기능의 경우 적은 수의 테스트로는 충분하지 않다는 것을 알 수 있습니다. 다시 말해서 우리가 잘 알고 있는 명제(5명만 인터뷰하면 된다)는 두 가지를 전제하고 있습니다. 첫째, 모든 사용자가 평등하다 다시 말해서, 사용성 테스트에서 지구인 중 누군가를 랜덤으로 추출할 수 있거나, 개인이 특정 문제를 겪을 확률은 같다는 뜻입니다. 현실은 당연히 그렇지 않으므로, 저희 할머니가 겪을 문제나 장애인이 겪을 문제는 UT에서 발견되거나 대처되기 어렵습니다. 이 경우, 다양한 상황에 처한 고객군의 문제를 해결하고 싶은 제품팀은 적극적으로 편향시킨 고객군을 리크루팅 해야 합니다. 둘째, 31% 확률로 일어나는 문제에 경우에만 그렇다. 즉 소수가 겪는 문제는 5번의 UT로는 찾기 어렵습니다. 10% 확률로 나타나는 문제는 18번의 UT를 해야 찾을 수 있으니까요. 전 국민을 대상으로 하는 정부 프로그램처럼 애자일 프로세스를 따르지 않고 완성도 높은 제품을 만들어야 하는 경우 더 많은 UT를 시행하는 것이 좋다고 생각합니다. 반대의 경우는 ‘대다수가 겪는 문제’를 찾기 위해서는 굳이 5번의 UT도 필요 없습니다. 2-3건으로 충분합니다. 어차피 통제된 상황에서 하는 테스트고, 완벽하게 문제를 찾아낼 수도 없습니다. 리크루팅도 빡빡하게 하지 않고 사내 UT정도면 충분합니다. 현실적으로 문제 30개를 찾더라도 개발팀에서는 5개도 소화할 여력이 부족합니다. 우선순위가 낮다며 무덤으로 들어간 백로그는 영원히 발굴되지 않습니다. 그렇다면 애자일 하고 빠르게 문제를 해결할 때는 적은 수의 UT를 하고, 더 많은 수의 문제를 꼼꼼하게 풀려고 할 때는 많은 수의 고객과 UT를 하면 되는 걸까요? 답이 그렇게 단순하지는 않습니다. 단순히 사용성 문제만 하더라도 , 즉 전문성을 가지고 가이드라인대로 평가를 했을 때도 꽤 많은 문제를 찾아낼 수 있기 때문이죠. (위 그래프 참조) 어찌 보면 심리학적인 사용성 원리를 기반으로 문제를 찾는 것이기 때문에 직접 고객을 만났을 때 찾을 수 있는 문제와 크게 다르지 않을 수 있습니다. 역시나 그렇듯이 리서치에 정답은 없습니다만, 사용성 문제 해결을 위한 제언을 몇 개 적자면 다음과 같습니다. 1. ‘몇 명이냐’에 정답은 없고, 문제도 사용자도 평등하지 않습니다. 팀의 여력에 따라 만나는 사용자 수를 조절합니다. 2. ‘몇 명을 테스트할까? 대신에 ‘누구를 만족시켜야 할까?’를 고민하세요. 이 기능을 우리 할머니도 잘 써야 하는 것인지, 옆집 아저씨도 잘 쓰길 바라는 것인지, 화장실에서 응가하면서도 편하게 써야 하는지, 흔들리는 지하철에서 써야 하는지, 고민해 보는 것이 필요합니다. 3. 0명을 평가하면 배움이 0 입니다. 반복하자면, 0명을 평가하면 배움이 0입니다. 한 명도 테스트하지 않으면 찾을 수 있는 문제는 0개입니다. 4. 중요한 것은 이 과정을 반복함으로써 하나의 스프린트처럼 다루는 것입니다. 반복적 디자인(Iterative Desgin) 프로세스를 통해 점점 더 나은 제품을 만들 수 있습니다. 5. 리서처 혼자 하는 평가가 아닌 함께 하는 평가 문화를 만들어라. 통계에 의하면 리서처가 아닌 개발팀이 각각 문제를 찾을 확률은 50:50이라고 합니다. 단순히 관찰자를 한 명 추가하는 것만으로도 더 많은 사용자 문제에 공감하게 만들 수 있으며, 리서처는 발견하지 못한 문제를 발견할 확률을 단순 계산으로 2배나 올려줄 수 있습니다. https://brunch.co.kr/@kgbtomas/288