당근마켓에서 A/B 테스트를 1주일에 1개씩 할 수 있게 되기까지의 과정을 소개한 글이 있어 가져왔습니다. 이러한 환경을 구축하기까지 약 3년이란 시간이 걸렸다고 하는데요. 직접 A/B 테스트 플랫

당근마켓에서 A/B 테스트를 1주일에 1개씩 할 수 있게 되기까지의 과정을 소개한 글이 있어 가져왔습니다. 이러한 환경을 구축하기까지 약 3년이란 시간이 걸렸다고 하는데요. 직접 A/B 테스트 플랫폼을 만들고, 실험 설계 템플릿을 만드는 등 누구나 테스트 가능한 환경을 만들기 위해 많은 노력을 기울였다는 것이 느껴집니다. 특히 '실험결과가 의사결정을 해주는 것은 아니다'라는 문장이 인상 깊었는데요. 데이터를 무조건 따르기 보다는 그 외의 요인들을 고려해 팀이 함께 결정한다는 점이 참 좋아보였습니다. 저도 최근 데이터 활용에 관심이 많아 재밌게 읽었는데요. 업무에 새롭게 A/B 테스트를 활용할 계획이 있으신 분, 팀이라면 일독을 권합니다! ------------------------- - 실험을 하기 위해 들어가는 추가적인 리소스 실험을 하려면 (1) 분기를 나눠서 개발을 해야하고 (2) 특정 기간동안 그 분기를 유지해야 하며 (3) 실험 결과를 분석해야 하고 (4) 분석 결과를 토대로 의사결정하는 논의를 해야해요. 따라서 실험을 많이 하기 위해서는 실험이 정말 쉬워지도록 만드는 것이 중요해요. 물리적인 장벽은 실험 설계 / 실험 관련 개발 / 실험 결과 분석 등에 들어가는 리소스를 의미해요. 물리적인 장벽을 낮추기 위해 실험 설계 템플릿을 만들고 자체 실험 플랫폼을 구축하고 실험 결과를 자동화하는 노력을 하고 있어요. - 실험 설계에 대한 어려움 가설이 무엇인지에 대해서 명확히 알지 못했고 어떤 지표를 설정해야 하는지 그리고 몇 개까지 설정해야 하는지 등등 결정할 때 어려움이 많았어요. 따라서 실험을 설계할 때 도움이 될 수 있는 노션 템플릿을 만들었어요. 이 템플릿을 통해서 실험을 설계할 때 무엇을 고려해야 하는지 누구나 생각할 수 있게 되었어요. - 당근마켓에서는 ‘Data-driven decision’이 아닌 ‘Data-informed decision’을 추구해요. 사실을 알기 위해 실험을 하지만, 실험 결과가 우리의 의사결정을 정해주는 건 아니라고 생각해요. 팀이 의사결정을 할 때는 데이터뿐만 아니라 다양한 요인들을 함께 고려해서 결정을 해요. 따라서 실험 결과가 나왔더라도 바로 결과에 따라 배포가 되는 것이 아니라 팀이 함께 모여서 결과에 대해서 이야기를 하고 의사결정을 하게 돼요.