통계 기반의 설문조사 기획방법

1. 프로덕트나 서비스 설문조사 시 우리는 얼마만큼의 샘플의 확보해야 해당 설문조사가 신뢰가 있는지 목표를 세우지 않고 진행하는 경우가 많다. 2. (대부분 감에 의존해) “우리 이번에 200명한테 설문조사받을 거야”라고 목표를 세우고 진행한다. 하지만 여기서 우리는 이 설문조사를 신뢰할 수 있어?라는 공격을 받는 상황을 마주하게 된다. 3. (하지만 신뢰할만한 설문조사가 되려면) 설문 기획 단계에서부터 표본 선택 및 결과 분석에 이르기까지 매우 정교한 통계적 설계와 해석이 필요하다. 4. 구체적으로는 모집단의 크기, 신뢰수준, 표본오차를 고려해서 샘플 사이즈(설문조사 응답수)를 계산해야 한다. 5. (선거철 사례를 들면) 우리는 다음과 같은 기사를 흔히 접하게 된다. “후보 지지율 설문조사에서 A후보는 40%, B후보는 30%의 지지율을 얻었다. 이번 조사는 전국 성인남녀 천명을 대상으로 무작위 전화 면접조사로 실시되었고 신뢰수준 95%에서 표본오차는 ±3.0%포인트이다.” 6. (그런데 여기서 의문이 든다.) 여기서 ‘신뢰수준 95%에서 표본오차 3.0%포인트’란 말의 의미는 무엇일까? 7. (해석하자면) 위와 같은 동일한 형태의 여론조사를 100번 실시한다면 95번은 A후보가 40%에서 ±3.0% 인 37% ~ 43%, B후보는 30%에서 ±3.0% 인 27% ~ 33% 사이의 지지율을 얻을 것으로 기대된다는 의미이다. 8. 신뢰수준(Confidence Level)이란 표본에 의한 조사 결과의 확실성 정도를 표현하는 것이며 일반적으로 연구목적 설문이나 여론조사에서는 95%의 신뢰도를 많이 사용한다. 9. 표본오차(Margin of error)는 위의 신뢰수준 하에서 샘플에 의한 추정이 모집단의 측정치와 표본오차 범위만큼 차이가 날 수 있다는 것을 의미한다. 10. 정리하면, 1) 설문조사를 받을 타켓을 1차적으로 필터링하고, 2) 샘플 사이즈 계산을 통해 이번 설문조사의 신뢰성을 담보하기 위해서는 몇 명까지 받을지 팀원들과 논의 후 결정하는게 필요하다. 11. (필자가 최근에 진행한 설문조사로 예를 들자면) 전국에 주간보호센터=노치원(4200여개) 대상으로 설문조사를 진행하였다. 신뢰수준 95%에 표본오차 10%로 샘플 사이즈는 100개 센터에서 응답받는 걸 목표로 스프린트를 진행하였다. p.s - 해당 방법은 아무래도 주관적인 설문조사보다는 객관적인 설문조사에 더 적합하다. -(첨부) 샘플사이즈 계산기 https://www.nownsurvey.com/calculator/