A/B 테스트가 유효성을 가지려면 여러 변수도 통제해야 하고 신경써야 할 것들이 여러가지가 있을텐데, 각 조직의 상황과 실험문화의 성숙단계에 따라 할 수 있는 것과 B마트의 시행착오, 실험 프로세스를 갖추기 위해 필요한 것들 등등 흥미로운 내용에 대해서 너무 잘 정리된 글인 것 같습니다. A/B 테스트 체크리스트와 실험 설계서 템플릿까지 공유하고 있습니다. ✅ B마트는 3년간의 실험 빌드업으로... ▪️ 가설 수립을 위한 근거가 될 수 있는 데이터들이 쌓였음 ▪️ 실험에 대한 심리적, 물리적 허들을 낮출 수 있는 문화/제도가 정착되었음 ▪️ 실험을 위한 다양한 직군과의 협업 방법 또한 정착되었음 ▪️ 실험을 위한 가이드라인이 마련되어 다른 조직과의 공유가 가능해졌음 ▪️ 데이터 로깅의 중요성에 대해 알게되었음 ▪️ 섣부른 실험 결론 도출에 대한 의식적인 의심과 논의가 가능해졌음 그리고 이것이 잘 실험하기 위한 조직이 되기 위한 체크리스트가 될 수 있음 ✅ 실험의 우선순위는 ▪️ ICE프레임워크를 기본적으로 사용하나 ▪️ 필요에 따라 임팩트가 적어도 레슨런의 명확도와 도입의 난이도를 고려해 우선순위를 상향조정하는 경우도 있었음 ✅ 실험 결과를 해석하는 역량을 높이기 위해서 많은 의견교류와 스터디가 필요함 ▪️ 실험 결과 두 지표가 비슷하다면 효과가 없다고 결론내리면 될까? - 보조지표, 가드레일 지표를 참고하고, 세그먼트 단위로 나누어 분석해 검토해봐야함 ▪️ 통계유의성이 낮으면 실험 기간을 늘려야할까? - 적정 표본 규모를 충족했다면 실험 기간을 연장해 표본을 더 확보할 경우 표본 오차가 작아짐 > 표본 대비 높은 통계 유의성을 얻을 수는 있음. 하지만 시간이 지남에 따라 변화하는 다른 요인(초두효과, 신기효과)들로 인해 지표 분석이 어려워지는 것도 고려해야함 https://techblog.woowahan.com/13726/