[통계적 유의성 검정이 절대적이지 않은 이유]

AB 테스트는 종합 대조 실험(Controlled Experiment)이며, 해석을 위해서는 통계적 가설 검정이 필요합니다. 이 과정에서 단순히 p값을 보면서 통계적으로 유의미하다/그렇지 않다 로 이분법적으로 사고하기보다는, 전반적인 가설검정 프로세스를 이해하고 이에 기반한 의사결정을 할 필요가 있습니다. 특히 p-value는 현업에서 가장 많이 오용되는 개념 중 하나인데, p-value가 작다고 해서 반드시 대립가설이 옳다고 해석할 수는 없습니다. (마찬가지로 p-value의 크기가 효과의 크기를 의미하는 것도 아니구요) AB 테스트의 기초가 되는 통계적 개념에 대해 잘 정리한 글을 발견해서 공유합니다.