IT 회사에선 제품을 개선하는 방법 중 하나로 실험을 많이 진행하고 있습니다. 따라서 데이터 조직이 커지면서 실험 플랫폼을 만드는 경우가 많습니다. 매스프레소(콴다)에서 실험 플랫폼을 만든 글이 있어 공유합니다
✨️ 추천드리고 싶은 분
- 실험에 관심있는 분(AB Test 등)
- 실험 플랫폼을 구현해야 하는 데이터 엔지니어
내용 퀵 요약
- QXP : QANDA eXperimentation Platform
- 실험을 실행하는 부분, 결과를 집계하는 부분으로 나뉨
QXP admin
- Experiment Id
- Randomization Unit : 어느 단위의 주체에 분기하는 실험인가? user_id 등
- Target Users : 실험 대상
- Groups : 실험 그룹
- Exposure : Target 중 몇 %를 실험 대상으로 삼을지
실험 결과 집계와 의사결정에 필요한 것
- Success Metric : 실험을 통해 개선하고자 하는 목표
- Guardrail Metric : 고객에게 악영향을 미칠 염려가 있는 부분, 실험 중단 여부를 판단
- Extra Metric : 추가 의사 결정에 참고할 지표
실험 플랫폼과 Metric store가 연동되어 있음
실험 시작한 다음날부터 매일 레포팅 전용 슬랙 채널에 메세지를 보내며, 각종 링크를 같이 제시함
- 그룹 별 메트릭은 쓰레드로 작성됨