🌈 뱅크샐러드의 실험플랫폼 분석 인프라 살펴보기 🎁 이 글을 추천하는 이유 - 뱅크샐러드에서 AB Test 플랫폼을 직접 구축한 경험담을 작성한 글입니다 - 분석 인프라를 V1(수동 실험) - V2(자동 실험) 과정을 작성해주셔서 현업 입장에서 큰 공감을 했습니다 - 이 글은 실험 플랫폼의 큰 그림을 작성한 글로, 예전에 커리어리에 공유한 적 있는 하이퍼커넥트의 AB Test 플랫폼 글과 같이 보시면 유익합니다 - 예전 글인 진정한 실험 조직의 탄생(https://blog.banksalad.com/tech/birth-of-a-genuine-experiment-organization/) 글도 함께 보시는걸 추천드려요 👍 읽으면 좋은 분 - AB Test 플랫폼을 자체 구축하려고 하는 분 - AB Test 플랫폼의 구성 요소가 궁금하신 분 - AB Test를 단순히 툴이 아닌 내부 요소가 궁금하신 분 - AB Test를 자주 활용하시는 분 📋 내용 실험 플랫폼의 핵심 가치 - 신뢰성 : 실험 결과가 잘못되는 일이 반복된다면 더는 실험 결과를 신뢰하지 못할 것입니다. - 유연성 : 앱 웹 서비으싀 개선, 서버 단의 개선 등 다양한 영역에서 실험을 가능하게 만들어야 합니다. 정량적으로 측정하기 위한 여러 종류의 실험 지표를 지원해야 합니다 분석 인프라 V1 - 수동으로 실험 분석하기 - 자동화된 인프라 전엔 Jupyter Notebook으로 진행 - 효율성은 떨어지고, 실험 개수가 많아질수록 데이터 사이언티스트/데이터 분석가의 리소스가 추가로 필요하게 됨 - 확장성 자체도 코드 파악을 잘 해야해서 어려움 - 일관성도 수동으로 진행하다보니 잘못된 값을 넣는 경우도 있고, 잘못된 분석 결과가 제공될 수 있음 분석 인프라 V2 - 자동으로 실험 분석하기 - 실험 결과와 관련된 데이터를 수집해 실험 분석 결과를 계산하고 적재하는 환경 - 지표를 관리하는 Metric Config, 실험 분석 결과 계산에 필요한 데이터를 가공하는 Data Preparation, 실험 분석 결과를 계산하는 Metric Calculation으로 구성 - Metric Configuration : 실험 지표를 관리하기 위한 설정으로, 여러 지표를 저장함 - Data Preparation : 분석에 필요한 데이터를 준비하는 과정 - Experiment Information : 실험을 정의하는 정보 - Trigger Event : 실험에 노출된 이벤트. User, Device, Session 등으로 Subject를 정의함 - Subject Event : 실험의 지표를 계산하기에 필요한 Subject의 이벤트 정보 - 계산된 Experiment Analysis Result는 실험 플랫폼 UI에서 보이게 됨