통계의 함정 : 풍력발전기의 날개의 하나만 검은색으로 칠해도 새의 죽음을 70% 줄일 수 있다고? 작년에 트럼프가 풍력발전기로 인해 독수리들이 죽고 있다고 재생에너지를 비판하는 뉴스가 있었는데요. 실제 새들이 풍력발전기 날개에 부딪혀 죽는 경우가 많다고 합니다. 그런데 기사에서 소개한 논문에 따르면 3개의 날개 중 하나만 검게 칠하면 새의 죽음이 70%나 줄어들었다고 합니다. 새들이 비행 중 빠르게 회전하는 날개를 잘 식별하지 못하는데 날개 하나를 검게 칠하면 모션 블러가 줄어들어 식별하는데 도움이 될 수 있다는거죠. 기사를 읽고 궁금한 점이 생겼는데요. 날개 하나가 아니라 두개를 검게 칠하면 어떻게 될까? 얼룩말같은 스트립 형태면 어떨까? 이 연구가 3년전에 끝났는데 왜 이런 훌륭한 디자인을 다른 풍력발전기에 바로 도입하지 않을까? 그래서 논문의 데이타를 들여다봤는데요. 실험은 노르웨이 풍력발전단지의 68개 발전기 중 4기를 실험군으로 주변의 4기를 대조군으로 전-후-실험-대조 비교를 한 실험이었습니다. 전 7.5년간 사망한 새는 대조군 7마리, 실험군 11마리였는데 날개를 칠한 후 3.5년간 대조군 18, 실험군 6마리가 발견되었습니다. 실험군의 전 후를 비교하면 사체가 11마리에서 6마리로 줄었는데 동일 기간이라면 5.1마리가 6마리로 조금 늘었습니다. 하지만 대조군은 3.3에서 18마리로 늘었기 때문에 상대적으로 70% 줄었다고 결론을 내렸습니다. 11년간 8기 풍력발전기에서 42마리가 죽었습니다. 발전기 하나에서 2년에 새 한마리 사체가 발견되는 낮은 빈도의 사건입니다. 작은 표본은 변이가 커서 경향성을 알기 어렵습니다. 동전을 천번 던지면 앞면이 나오는 경우가 5백번에 가깝고 4백번이나 6백번 근처가 나오긴 어렵습니다. 하지만 열번 던지면 4번이나 6번 나올 확률은 높습니다. 3번이나 7번이 나올 수도 있고요. 작은 표본이라 변이가 크면 새의 사망이 디자인 때문이라고 인과관계를 해석하는것은 무리입니다. 어떤 해는 발전기에 한마리도 죽지 않을 때도, 어떤 해는 2,3마리가 죽을 때도 있지만 뭐 그럴 수도 있다는 거지요. 2,3km 떨어져 있는 발전기가 다른 조건이 모두 통제된 동일한 조건이라고 가정하는 데도 무리가 있습니다. A/B 테스트에서도 결과가 정말 디자인의 영향인지 다른 요인때문인지 인과관계를 알고 이것을 일반화 할 수 있을지는 충분히 많은 표본을 봐야합니다. 디자인은 다양한 사용자와 사용자가 처한 무수히 많은 환경 요인 중 하나일 뿐입니다. 다양한 변수가 무작위 할당되었다고 확신할 수있을 때만 인과 관계를 말할 수 있습니다. 통계 수치를 보여준다고 꼭 그것이 사실은 아닙니다. 정량적인 데이타가 의사결정을 도와줄 수는 있지만 근거의 타당성을 가지려면 추상화된 통계값과 구체적인 데이타를 같이 확인해 보는 것이 안전합니다.