🎇 [넷플릭스에서 A/B 테스트를 해석하는 법] 본문은 서비스 테스팅과 관련된 통계적 개념을 직관적으로 이해하는 것에 초점을 두었기 때문에 복잡하고 머리 아플 수 있는 수학적 계산이 빠져있습니다. 그래서 오히려 진또배기 개념 자체에 더 집중하기 좋다는 생각이 듭니다. 1. 오류의 종류 A/B 테스트 결과를 해석할 때 크게 두 가지 실수를 할 수 있습니다. 바로 Type I: 거짓 양성(false positive), 그리고 Type II: 거짓 음성(false negative) 오류입니다. 거짓 양성은 인과 추론에서 우리가 예상한 대로 치료군(treatment group)에서 더 긍정적인 효과를 보였으나, 그 원인이 의도하지 않았던 다른 요인 때문인 경우입니다. 즉, 실제 treatment는 별 효과가 없었는데 다른 이유 때문에 효과가 있는 것처럼 보이는 실수입니다. 거짓 음성은 그와 반대로 treatment의 효과가 있었지만, 효과가 없다고 잘못 판단하는 실수입니다. 2. 거짓 양성, 및 통계적 유의성 테스트를 진행할 때, 가설 및 1차 결정 지표에 대한 정리가 되었으면 통계적인 측면을 고려해야 합니다. 이 프로세스는 보통 허용 가능한 거짓 양성 허용 비율(acceptable false positive rate)을 설정하는 것으로 시작합니다. 이 비율은 통상적으로 5%인데, 이는 곧 치료군과 대조군의 유의미한 차이가 실제로 없을 때 5%의 확률로 통계적 유의성(statistical significance)이 존재한다고 판단할 수 있다는 말입니다. 즉, 100번 중 5번의 꼴로 우리는 실제로 냥이가 아닌 사진을 보고 이것은 냥이 사진이라는 결론을 내리게 됩니다. 이를 우리는 유의수준(significance level) 5%로 유의하다라고 정의합니다. 유의수준은 p-value와 밀접한 관계가 있습니다. p-value란 치료군과 대조군의 차이가 없다고 가정할 때, 실험을 통해 얻은 결과와 같거나 더 극단적인 경우가 일어날 확률을 의미합니다. 간단한 확률 게임을 통해 p-value에 대해 좀 더 직관적으로 알아보겠습니다. 더 자세한 사례는 본문을 참고해주세요. 실험 또는 A/B 테스트에서 내릴 수 있는 결론은 총 두 가지: “효과가 있다(동전이 공평하지 않다)” 또는 “효과가 있다는 증거가 충분하지 않다”입니다. 재판에서의 “유죄” 또는 “증거 불충분”과 비슷하죠 - 증거 불충분과 결백은 아주 다릅니다. 마찬가지로, A/B 테스트에서 이러한 접근 방식은 “효과가 없다”라는 결론을 허락하지 않습니다. 단지 귀무 가설을 기각할 만큼 충분한 증거가 없다고 결론지을 뿐입니다. 위의 예시에서 동전을 100번 던졌을 때 앞면이 55%인 경우에는 공평하지 않다고 할만한 근거가 충분하지 않다라고 결론지었습니다. 결코 동전이 공평하다고 결론지은 것이 아닙니다. 만약 100번이 아니라 1000번 던졌다면 동전이 공평하다는 가설을 뒤집을 증거가 나왔을 수도 있기 때문입니다. 3. 기각역과 신뢰 구간 A/B 테스트에서 p-value와 밀접하게 연관되어 있는 두 가지 추가적인 개념이 있습니다. 바로 기각역(rejection region)과 신뢰 구간(confidence interval)입니다. 기각역은 귀무 가설을 기각시킬 수 있는 값의 집합입니다. 기각역을 계산하기 위해선 먼저 귀무 가설이 참이라 가정합니다. 그리고 기각 영역을 “관찰될 확률의 합이 0.05 보다 적은, 가능성이 가장 낮은 결과의 집합”이라 정의합니다. 즉, 기각역은 가설이 맞다는 전제하에, 해당 가설에 반대되는 증거가 가장 강력한 결과의 구성입니다. 그래서 실험의 결과가 이 영역에 속하면 귀무 가설을 기각하기에 통계적으로 유의미한 증거가 있다는 결론을 내립니다. 위 동전 실험에서의 기각역은 앞면이 나올 확률이 60% 이상, 또는 40% 이하인 경우(그림 2의 파란 부분)입니다. 기각역과 p-value의 관계는: 관찰된 결과가 기각역 안에 떨어지는 경우에만 p-value가 0.05보다 작다는 것입니다. 현재까지의 접근 방식은 먼저 귀무 가설을 세우고, 가능한 결과 집합을 정의한 후 실험 결과를 비교하는 순서였습니다. 하지만 신뢰구간에 대해 이해하기 위해서는 먼저 관찰 결과에 집중하는 것이 편합니다. 그다음 “거짓 양성 허용 비율이 5%일 때 어떤 값이 관찰되어야 귀무 가설이 기각되지 않을까?” 한번 생각해 보는 것입니다. 동전 던지기에서 앞면의 비율이 55%였을 때 가설을 기각하지 않았고, 아마 60% 일 때도 마찬가지입니다. 그림 3이 보여주듯 45%에서 65% 정도는 귀무 가설이 기각되지 않는 범위입니다. 이 범위를 “신뢰 구간”이라 부르고, 5% 유의 수준이라 미리 정했기 때문에 신뢰 수준은 95%가 됩니다. 다른 말로 풀어보면: 실험을 여러 번 반복했을 때, 95%의 경우 신뢰 구간 내에 실제 값(동전 앞면이 나올 실제 확률)이 들어간다는 뜻입니다. 신뢰 구간과 p-value의 관계는: 95% 신뢰구간은 p-value가 0.05보다 작은 경우에만 실제 평균값을 포함하지 않고, 이 경우에 귀무 가설을 기각합니다.