많은 조직에서, 실험을 ‘revenue 지표 향상시키는 아이디어 찾아내기’ 내지는 ‘기획안 통과시키기 위한 근거찾기’ 정도로 여기곤 합니다. 그리고 그런 숫자들을 어떻게든 찾아내는 일을 데이터 분석이라고 부르려 하죠. 적어도 제가 리딩하는 팀에서 하고자 하는 실험과 분석은, 그런 것이 아닙니다.

1. 실험의 실패율이 높은 것은 지극히 당연하고 정상적입니다. 실험 실패(실패라기보단 가설이 입증되지 않았다고 말하는 것이 정확하겠습니다만)의 원인을 분석하는 과정에서 고객의 행태와 니즈를 이해하게 되고, 이것이 분석이며 이런 과정이 반복되어야 비로소 실험 성공율이 조금씩 향상됩니다.

2. 실험 결과(성공과 실패)로부터 얻어야 하는 것은 실험의 가설이 입증되었는가를 밝히는 것이며, 이를 인과적으로(원인과 결과를 분리하여) 설명하는 것입니다. 이것이 저희팀이 해야 하는 분석이라 생각하고, 조직의 실험 문화를 이렇게 바꿔가야 한다고 봅니다.