평소에 즐겨보는 오늘의집 블로그의 "A/B 테 | 커리어리

평소에 즐겨보는 오늘의집 블로그의 "A/B 테스트 플랫폼 구축기"의 일부를 공유합니다. 평소에 데이터 기반의 의사결정을 하셔야하는 분들에게 유익할 것입니다. 특히 비엔지니어분이라더라도 간략한 흐름을 보시면서 이러한 과정으로 데이터 엔지니어들과 커뮤니케이션하면 되겠다-라는 흐름을 이해하실 수 있을 것 같습니다. 정의: A/B 실험(테스트) 플랫폼은 실험 성공지표를 비교해 어떤 버전이 가장 좋은 성과를 보이는지 판단하도록 도움을 주는 플랫폼. 오늘의 집은 과거 프로덕트를 배포 전/후 지표를 측정하교 비교하곤 했으나, 실험군의 비율이나 실험의 시작을 위해서는 반드시 서비스를 배포해야만했음. 1. A/B 실험 플랫폼 시스템 Requirements 사용자의 Page latency에 영향이 없어야 한다. 사용자에게 배정된 실험군은 재 접속시 바뀌지 않아야 한다. 실험정보의 변경은 사용자에게 실시간으로 업데이트 되어야 한다. 2. 데이터팀의 변인통제: 실험의 관리자는 실험이 필요한 기획을 제안하며 실험 플랫폼에 해당 기획에 필요한 내용들을 함께 첨부합니다. 해당 내용을 통해 Product Owner(이하 PO), Data Scientist(이하 DS) 등이 실험 계획을 점검하고 해당 실험에 오류가 없는지, 다른 실험을 통해 영향 받을 가능성이 없는지, 신규 피쳐 여부, 통제된 환경에서 실험이 진행되는지 등을 함께 확인. 3. (중간과정 생략) 실험군을 올바르게 설정하고, 데이터를 적재하며, 실험 결과를 분석할 수 있는 파이프라인 만들기. 비엔지니어로서의 요약: 플랫폼 비즈니스를 하다보면 실제로 자사에서 구현한 기능이 사용자에게 어떤 식으로 영향을 주는지 궁금해할 때가 많고, 이를 비정형적인 요청(예: 이 기능 추가해주시면 매출이 오를 것 같아요)으로 전달할 때가 많은데, 이를 프로덕트 담당자(PM, PO 어떤 이름이건)와 함께 측정할 지표와 가설을 설정하고 실행한다면 더 과학적인 검증이 가능할 것.

오늘의집 A/B 실험 플랫폼 구축기 - 오늘의집 블로그

Bucketplace

2021년 10월 31일 오전 11:29

댓글 0

주간 인기 TOP 10

지난주 커리어리에서 인기 있던 게시물이에요!

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 개발자를 위한 커리어 SNS