실험 속도를 10x 시켜줄 수 있는 5가지의 기능들

실험을 많이 하는 조직에서는 실험의 iteration을 빠르게 하는 것도 매우 중요합니다. 이 블로그 글에서는 실험의 iteration을 더 빠르게 해줄 수 있는 기능들을 소개하고 있습니다. 글을 읽고 나니 Statsig라는 기업에서 제공하고 있는 기능 홍보 같은 느낌이 없잖아 있었지만, 실험을 어떻게 하면 더 많이, 빠르게, 실험 진행이 기능 개발의 bottleneck이 되지 않도록 하기 위해 제가 생각했던 내용들도 있어서 공유해봅니다. 저도 처음 들어본 Statsig라는 회사의 제품인데 optimizely, hackle, growthbook 등 다른 SaaS들과는 어떤 차이점이 있는지 한번 알어볼 겸 나중에 사용해보고 싶네요. --- ✔️ 실험 속도를 10x 시켜줄 수 있는 5가지의 기능들 1. Feature Rollout 자동으로 새로운 기능의 임팩트를 a/b test로 측정할 수 있게 됨. 2. Parameters 실험 코드에서 vairant이름을 사용하지 않고 parameter처럼 사용해서 실험의 iteration을 더 빠르게 함. A/B를 분기처리 할때 실험 그룹(ex. control, treatment)으로 분기처리하는 것이 아니라 parameter값(ex. color=#FFFFFF)을 사용함. 3. Layers 하드코딩된 실험명들을 코드에서 제거할 수 있게 됨. 원래 상호배제(mutual exclusion) 실험을 진행할때 필요한 기능이지만 실험을 더 빠르게 진행하기 위해서도 사용 가능함. 예를 들어, 3가지의 실험을 서로 겹치지 않게 구성해서 전체 트래픽을 1/3씩 나누고 그 안에서 A/B로 실험을 진행하는 경우. 4. CUPED Controlled-experiment Using Pre-Experiment Data(CUPED) 통계적 기법으로 실험 분석 결과의 bias와 variance를 줄임. 쉽게 얘기하면 실험 시작 전에 노이즈를 줄여서 결과를 더 빠르게 볼 수 있음을 의미. 5. Automatic Holdouts Holdout을 통해 팀단위 프로덕트단위의 누적 임팩트를 측정할 수 있음. 외부 요인들, 시즈널리티를 확인할 수 있게 됨.