A/B 테스트의 기회비용과 재무적 임팩트를 환산해 주는 계산기 (PRIZM)

데모 링크 및 접속 계정] URL:  https://prizm-v2-6dohhi.flutterflow.app/ 테스트 ID: test@test.com PW: 111111(가입의 번거로움 없이 테스트 계정을 열어두었습니다.) 안녕하세요. IT 업계 밖에서 타업종 직장인으로 일하며 데이터를 공부하고 있는 개인 빌더입니다. 평소 IT 프로덕트들의 성장기를 보며 한 가지 의문이 있었습니다. "A/B 테스트로 전환율이 올랐다고 무조건 전체 배포를 하는 게 맞을까? 객단가가 떨어지거나 후행 지표(환불/이탈)가 나빠지면 결국 회사의 영업 이익은 마이너스가 아닐까?" 이 단순한 의문에서 출발해, 실험 결과를 '전환율'이 아닌 철저한 '재무적 임팩트(돈)'로 환산해 보는 계산기 **PRIZM (MVP)**을 만들어 보았습니다. [핵심 로직] 방문자당 매출(RPV) 분리 검증: A안과 B안의 객단가를 별도로 입력받아, 할인 프로모션 등에서 발생하는 '승자의 저주(전환은 늘었지만 마진은 깎이는 현상)'를 포착합니다. 보수적 통계 가드레일: 단순 P-value(0.05 미만)뿐만 아니라, 95% 신뢰구간의 하한선이 '0'보다 클 때만 긍정(Go) 판정을 내리도록 매우 보수적인 기준을 적용했습니다. 기회비용 시각화: 실험 결과가 1년간 유지되었을 때 발생할 예상 파급 효과(연 환산 수익)를 금액으로 직관화했습니다. 실제 현장에서 A/B 테스트를 굴리시는 긱뉴스 유저분들의 시각에서, 이 통계적 가이드라인이 실무적으로 유효한지, 혹은 제가 놓치고 있는 치명적인 논리적 오류가 있는지 가감없는 피드백을 부탁드리고자 합니다. 감사합니다.