‘가설 설정’과 ‘실험 설계’, 빠르게 성장하는 스타트업의 프로덕트 디자이너로 일하며 가장 많이 쓰는 단어들입니다. 하지만 막상 그 단어의 정의를 설명하라고 하면 막막한데요. 스타트업에서 쓰이는 가설과 실험의 개념에 대해 정리한 글을 가져와보았습니다.
—
👊실험에 대한 오해 뽀개기
1. 실험은 ‘그냥 한 번’ ‘가볍게’하는 것이 아니다.
2. 실험은 양(quantity)은 중요하지만, 최소한의 질(quality)이 담보되지 않으면 안 하느니만 못하다.
🧪실험이란 무엇인가
목적 : 가설이나 이론이 실제로 맞는지 확인하기 위해. 지식을 얻기 위해
방법 : 다양한 조건 아래에서, 여러가지 측정과 관찰을 하는 것.
즉, 실험을 하는 이유는 ‘몰랐던 것을 알아내기 위함’이므로 아무것도 알아낸 게 없다면 실패한 실험.
🔬실험의 구성요소
1. 가설 : 실험을 통해 확인하고자 하는 것.
2. 다양한 조건 : 검증하고자 하는 가설에 따라, 다양한 형태와 방식이 있음 (A/B 테스트, 유저 인터뷰, 스모크 테스트 등)
3. 측정 : 정량 및 정성 데이터를 수집 (측정하지 않고 가볍게 하는 것은 실험이 아님)
4. 설계 : 명확한 결과를 얻기 위해서 필수.
🧐 가설과 가정 구분하기
가정 : 고객과 시장에 대한 우리의 추측.
- 스타트업은 사업을 하며, 가정이 사실인지 검증해야 함
- 가정이 참이 아닌 경우, 사업과 액션 아이템이 실패하고 소중한 자원과 시간을 낭비할 위험(risk)이 있음
- 실험을 통해 가정의 사실 여부를 검증. 실험 설계의 중심에 가설 설정이 있음
가설 : 실험을 통해 반증 가능한 구체적인 진술.
- 가설 설정 : 가정을 가설로 변환하기
실험군과 대조군
통제된 실험 : 변인 통제를 통해 실험군과 대조군을 설정하고, 해당 변인이 결과에 영향을 미치는지 확인 (예: A/B 테스트)
실험의 목적은 ‘완벽한 실험을 하는 것’이 아니라, 의사결정을 위해 필요한 만큼의 지식과 정보를 얻는 것. (Just enough information)
사업은 실험실이 아니라 현실세계에서 하는 것이므로, 완벽하게 통제된 실험은 불가능