과거 당근은 실험을 잘 활용하지 못했고, 현재는 여러 시행착오를 겪으며 1주에 1개의 실험을 돌리고 수많은 의사결정에 실험을 활용하고 있다고 합니다.

당근에서 실험을 1주에 1개씩 돌리게 된 여정에 대해 어떤식으로 개선하고 시도했는지 자세하게 공유주신 글을 전달드립니다.

🏃🏻‍♀️실험을 시작하게 된 시작점

당근은 초반부터 A/B 테스트를 활용하려고 노력해왔습니다. 과거 한 팀원이 "검색 결과 화면에서 거래완료 게시글까지 디폴트로 모두 보여주면 어떨까" 라는 아이디어를 내놓은 적이 있습니다.

검색 결과에서 거래완료 게시글까지 모두 보여주면 글 작성 관련 지표가 좋아질 것이라고 가설을 세우고 A/B테스트를 진행했습니다.

가설대로 실제 글 작성 관련 지표가 좋아지는걸 발견하고 실험을 통해 가설이 맞다는 걸 확인하니 실험 자체가 재밌을 뿐 아니라 사용자가 더 잘 사용할 수 있는 프로덕트를 만들 수 있었습니다.

🏋️ 과거에는 "실험을 하지 않을 때"의 흐름으로 프로덕트를 만들어왔습니다.

주로 일을 하다가 혹은 회의를 하다가 떠오르는 아이디어를 주변 팀원에게 자유롭게 말하고, 괜찮다는 피드백이 많거나 아이디어를 낸 사람이 의지가 있으면 개발해서 배포했었습니다.

처음 기능이 많지 않았을 때는 사용자들이 새로운 기능을 사용하는 것을 보며 아이디어를 평가하곤 했지만, 여러 기능을 더 좋게 개선하는 단계에 들어가니 판단하는 것이 어려워졌습니다.

이때 실험을 통한다면 더 명확하게 가설을 확인하게 되고 의사결정도 단순 아이디어가 아닌 사실을 기반으로 할 수 있게 됐습니다.

👀 실험을 돌리는 팀이 되기 위해 필요한 것

실험이 좋다는 것을 팀 전체가 경험했지만 일하는 과정에 녹아드는 데에는 이러한 이유로 3년이 나 걸렸습니다.

• 실험을 하기 위해 들어가는 추가적인 리소스

• 실험 설계에 대한 어려움

• 실험 결과를 해석하는 역량의 부족

• 신뢰할 수 없는 실험 플랫폼

🕺🏻 당근이 실험을 하는 방법 (10가지 steps)

1. 실험 아이디어 내기

2. 실험 문서 작성하기

3. 실험할지 말지 결정하기

4. 실험 기능 개발하기

5. 실험 플랫폼에서 실험 만들기

6. 배포한 이후 실험이 잘 되는지 테스트하기

7. 실험 시작하기

8. 실험 결과 분석하기

9. 실험 종료하기

10. 실험 결과 보고 next action 결정하기

😎 더 많은 실험을 돌리기 위해 필요한 것

당근은 사용자 경험을 중요하게 생각하는데, 더 많은 의사결정을 사용자의 행동으로부터 나온 데이터를 기반으로 하길 바라고 있습니다.

• 더 쉬운 실험 설계

• 더 쉬운 실험 관련 개발과 테스트

• 데이터 분석가 없이도 가능한 실험 결과 분석

• 실험할 때 참고할 수 있는 가이드라인

• 정기 실험 리뷰 미팅