A/B테스팅이 효과적이라면 Usability Testing은 필요가 없을까? 이에 대한 제이콥 닐슨의 대답이 흥미롭다. 결론은 NO! 먼저 A/B테스팅을 통해 어떤 디자인이 유의미하게 나은지에 대한 해답은 얻을 수 있지만 사용자가 왜, 어떻 생각하는지에 대한 해답은 주지 않는다는 점에서 Usability Testing은 꼭 필요하다고 이야기 한다. 특히 사용자 조사를 통해 만들어진 인사이트를 바탕으로 어떤 디자인을 테스팅 할 것인지에 대해서도 사용자를 기반으로 만들 수 있으며, 만약 이를 생략한채 바로 A/B테스팅을 진행할 경우 왜 A안과 B안이 나왔는지에 대해 사용자를 기반으로 근거를 찾을 수 없게 된다고 지적한다. 또한 매주 User Day를 만들어 사용자 조사를 매주 진행한다면 더욱 효과적인 방법이 될 수 있다고 제안하는데 이는 충분히 고려해볼만한 방법인 것 같다 :)