🗒 [성장을 위한 데일리 아티클] A/B 테스트는 죽었다.😇 A/B 그들은 작동하는 것과 작동하지 않는 것을 빠르게 시도하고, 실패하고, 구현합니다.그리고 마치 C급의 의사결정인 것처럼 믿고

🗒 [성장을 위한 데일리 아티클] A/B 테스트는 죽었다.😇 A/B 그들은 작동하는 것과 작동하지 않는 것을 빠르게 시도하고, 실패하고, 구현합니다.그리고 마치 C급의 의사결정인 것처럼 믿고 따릅니다. 하지만 성공적인 A/B 테스트가 결과적으로 실패한 이유를 살펴보겠습니다. 🤔참신 효과 고객을 대면하는 새로운 기능에는 자연스럽게 관심이 있고 경쟁자 반응 효과가 있을 수 있습니다. 하지만 참신함은 클릭을 생성한 다음 사라집니다. 결국 새 기능은 "표준”이 되고 영향은 줄어들 것입니다. 일부 시스템에서는 최종 결과만 중요합니다 
 🤔너무많은 A/B 테스트 실행 중 실험은 대부분 상호 배타적으로 간주되므로 모집단이 겹칩니다. 실제로 대부분의 트래픽 분할은 일부 상호 배제와 함께 인구의 일부에서 수행되며, 불행히도 실험은 가장 충성도가 높은 사용자에서 훨씬 더 나은 성능을 보였습니다.
 🤔부정확한 측정항목 A/B 실험을 통해 그룹의 주문 수를 $5.5로 성공적으로 증가시켰습니다. 하지만 동시에 낮은 그룹에 대한 유지율은 48%로 떨어졌지만 이를 모니터링하지 않았습니다…이처럼 리텐션은 복합적인 지표입니다. 이처럼 장기 트래킹이 필요한 항목에 대한 A/B 테스팅은 관찰하기 어렵습니다. 🤔범용적 결과 A/B 테스팅은 모든 방법론이 승자입니다. 프로덕트 특징에 맞춰 평가 되지 않습니다. 결과 대해 어떤 동작으로 이뤄졌는지 제공하지 않습니다. 🤔인사이트 부족 버전 A가 B보다 전환율이 더 좋다는 것을 알게 되었습니다. 하지만 이것은 핵심 학습이 아닙니다! 개별적인 사용자, 실험한 버전에 대한 인사이트를 주지 않습니다. A/B 테스트는 개별 인과 관계 알고리즘이 아닙니다. 단지 현재 상황을 감안할 때 변이가 모집단에서 평균적으로 더 낫다는 것을 알려줍니다. 즉, 개인 X_i와 X_j를 고려하면 한 사람이 다른 사람보다 더 높은 지표를 가질 가능성이 더 높은지 여부를 알 수 없습니다. -- 번역& 요약 : 황새나래 --- 🔊 B2B 디자이너들의 모임 소개 B2B 프로덕트를 만들고 있는 B2B 디자이너들은 B2C 디자이너보다 더 어려운 문제를 풀고 있는 경우가 많은 데 비해 자료, 지식, 피드백을 찾는데도 어려움을 겪고 있습니다. 더 많은 B2B 프로덕트 디자이너들이 한자리에서 어려운 점, 배운 점을 공유하고 서로 도움이 되기 위해 커뮤니티를 운영중입니다. 🔗 B2B 디자이너들의 모임 노션 링크: https://www.b2b-designers.space