🌈 QANDA Team의 실험 플랫폼, QXP를 소개합니다.

IT 회사에선 제품을 개선하는 방법 중 하나로 실험을 많이 진행하고 있습니다. 따라서 데이터 조직이 커지면서 실험 플랫폼을 만드는 경우가 많습니다. 매스프레소(콴다)에서 실험 플랫폼을 만든 글이 있어 공유합니다 ✨️ 추천드리고 싶은 분 - 실험에 관심있는 분(AB Test 등) - 실험 플랫폼을 구현해야 하는 데이터 엔지니어 내용 퀵 요약 - QXP : QANDA eXperimentation Platform - 실험을 실행하는 부분, 결과를 집계하는 부분으로 나뉨 QXP admin - Experiment Id - Randomization Unit : 어느 단위의 주체에 분기하는 실험인가? user_id 등 - Target Users : 실험 대상 - Groups : 실험 그룹 - Exposure : Target 중 몇 %를 실험 대상으로 삼을지 실험 결과 집계와 의사결정에 필요한 것 - Success Metric : 실험을 통해 개선하고자 하는 목표 - Guardrail Metric : 고객에게 악영향을 미칠 염려가 있는 부분, 실험 중단 여부를 판단 - Extra Metric : 추가 의사 결정에 참고할 지표 실험 플랫폼과 Metric store가 연동되어 있음 실험 시작한 다음날부터 매일 레포팅 전용 슬랙 채널에 메세지를 보내며, 각종 링크를 같이 제시함 - 그룹 별 메트릭은 쓰레드로 작성됨