๐ŸŽ†[์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ ๊ณ„์‚ฐ๊ธฐ์— ์ˆจ์–ด์žˆ๋Š” ํ†ต๊ณ„ ์ด์•ผ | ์ปค๋ฆฌ์–ด๋ฆฌ

๐ŸŽ†[์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ ๊ณ„์‚ฐ๊ธฐ์— ์ˆจ์–ด์žˆ๋Š” ํ†ต๊ณ„ ์ด์•ผ๊ธฐ] A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•˜๊ธฐ ์•ž์„œ ๋Š˜ ๊ณ ๋ฏผ๋˜๋Š” ๊ฒƒ์€ โ€œ์ ์ ˆํ•œ ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ๋Š” ์–ผ๋งˆ์ผ๊นŒ?โ€์ผ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ด ๊ณ ๋ฏผ์„ ํ•ด๊ฒฐํ•ด์ฃผ๊ธฐ ์œ„ํ•ด ์›น์—๋Š” ์ƒ๋‹นํžˆ ๋งŽ์€ ์ˆ˜์˜ A/B ํ…Œ์ŠคํŠธ ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ ๊ณ„์‚ฐ๊ธฐ๊ฐ€ ๊ณต๊ฐœ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ˆซ์ž๋ฅผ ์ž…๋ ฅํ•˜๋ฉด ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ๊ฐ€ ์ถœ๋ ฅ๋˜๋Š”๋ฐ, ๋„๋Œ€์ฒด ์–ด๋–ป๊ฒŒ ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ๊ฐ€ ๊ตฌํ•ด์ง€๋Š” ๊ฒƒ์ธ์ง€ ๊ถ๊ธˆํ–ˆ๋˜ ๋ถ„๋“ค์ด ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. 1. p-Hacking ํ†ต๊ณ„์  ๊ฐ€์„ค ๊ฒ€์ •์„ ์ˆ˜ํ–‰ํ•  ๋•Œ๋Š” P๊ฐ’(p-value)์„ ์ด์šฉํ•˜์—ฌ ๊ด€์Šต์ ์œผ๋กœ P๊ฐ’์ด 0.05๋ณด๋‹ค ์ž‘์€ ๊ฒฝ์šฐ ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒƒ์œผ๋กœ ๊ฐ„์ฃผํ•ฉ๋‹ˆ๋‹ค. p-hacking์€ ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด ์œ ์˜์ˆ˜์ค€(P < 0.05)๋ณด๋‹ค ๋‚ฎ์€ P๊ฐ’์„ ์–ป๊ธฐ ์œ„ํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ์„ ๋ณ„ํ•˜๊ฑฐ๋‚˜ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€๊ณตํ•˜๋Š” ๋“ฑ์˜ ์ž‘์—…์„ ํ•˜๋Š” ๊ฒƒ์„ ๋งํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€๊ณตํ•˜์ง€ ์•Š๋”๋ผ๋„ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ p-value ๊ฐ’์— ์˜ํ–ฅ์„ ์ค„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ๋‘ ํ†ต๊ณ„์  ๋ถ„ํฌ์—์„œ ์ถ”์ถœํ•œ ๋ฐ์ดํ„ฐ ํฌ์ธํŠธ(data point)๋“ค์ด ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•ด๋ด…์‹œ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ด๋ฅผ ํ†ตํ•ด ๊ตฌํ•œ p-value๊ฐ€ 0.05๋ณด๋‹ค ์•ฝ๊ฐ„ ํฐ 0.06์ด๋ผ๊ณ  ํ•ด๋ด…์‹œ๋‹ค. ์ด ๋•Œ ์•„๋ž˜์™€ ๊ฐ™์ด, ๊ฐ ๊ทธ๋ฃน์— ๋ฐ์ดํ„ฐ ํฌ์ธํŠธ๋ฅผ ํ•˜๋‚˜์”ฉ ์ถ”๊ฐ€ํ•œ ๋‹ค์Œ ํ‰๊ท ์„ ๋‹ค์‹œ ๊ตฌํ•˜๊ณ , p-value๋ฅผ ๋‹ค์‹œ ๊ตฌํ•ฉ๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ ๊ธฐ์กด๋ณด๋‹ค ๋” ๋‚ฎ์€ p-value๋ฅผ ๊ตฌํ•˜๊ณ , ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ฅผ ์–ป์–ด๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ •๋ง๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ฅผ ์–ป์€ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ p-hacking์— ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค. ์‹คํ—˜์„ ์ง„ํ–‰ํ•  ๋•Œ๋„ ์ด์™€ ์œ ์‚ฌํ•œ ์ƒํ™ฉ์ด ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ”๋กœ ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜ํ•˜์ง€ ์•Š์€ ๊ฒฐ๊ณผ๋ฅผ ํ™•์ธํ•˜๊ณ ๋„ ์‹คํ—˜์„ ์ง€์†ํ•˜๋Š” ๊ฒฝ์šฐ์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ์‹คํ—˜์„ ์ง„ํ–‰ํ•˜์—ฌ ์–ป์€ p-value ๊ฐ’์ด 0.06์ด๋ผ๊ณ  ๊ฐ€์ •ํ•ด๋ด…์‹œ๋‹ค. ์‚ฌ์ „์— ์„ค์ •ํ•œ ์œ ์˜์ˆ˜์ค€์ด 0.05๋ผ๊ณ  ํ•  ๋•Œ, ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์‹คํ—˜์„ ์ค‘๋‹จํ•˜๋Š” ๋Œ€์‹  ์‹คํ—˜์„ ๋” ์ง€์†ํ•˜๊ธฐ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ตญ ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ๋‹ค์‹œ ํ™•์ธํ•œ ๊ฒฐ๊ณผ, p-value ๊ฐ’์œผ๋กœ 0.04๋ฅผ ์–ป์Šต๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜ํ•œ ๊ฒฐ๊ณผ๋ฅผ ์–ป์—ˆ๋‹ค๊ณ  ๋งˆ๋ƒฅ ์ข‹์•„ํ•ด์„œ๋Š” ์•ˆ ๋ฉ๋‹ˆ๋‹ค. P๊ฐ’์€ ํ‘œ๋ณธ ์ˆ˜์— ์˜ํ–ฅ์„ ๋ฐ›๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ํ‘œ๋ณธํ‰๊ท  ์ฐจ์ด๊ฐ€ ๋™์ผํ•˜๋‹ค๊ณ  ํ•  ๋•Œ ๋ฐ์ดํ„ฐ์˜ ํฌ๊ธฐ๊ฐ€ ์ปค์งˆ์ˆ˜๋ก p-value๋Š” ์ž‘์•„์ง‘๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋ฏ€๋กœ ๋‚ฎ์€ p-value ๊ฐ’์ด ํ•ญ์ƒ ์˜๋ฏธ ์žˆ๋‹ค๊ณ  ์ƒ๊ฐํ•ด์„œ๋Š” ์•ˆ ๋ฉ๋‹ˆ๋‹ค. ์œ„ ๊ฒฝ์šฐ ๋ถˆ์ˆœํ•œ ์˜๋„๋ฅผ ๊ฐ€์ง€๊ณ  p-value๋ฅผ ์กฐ์ž‘ํ•œ ๊ฒƒ์€ ์•„๋‹ˆ์ง€๋งŒ ์˜๋„์น˜ ์•Š๊ฒŒ p-value์— ์˜ํ–ฅ์„ ์ค€ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ํ‘œ๋ณธ ์ˆ˜์— ๋”ฐ๋ผ ์‹คํ—˜์˜ ํ†ต๊ณ„์  ์œ ์˜์„ฑ์„ ์˜คํŒํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ์ ์ ˆํ•œ ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ๋ฅผ ์‹คํ—˜์— ์•ž์„œ ๊ฒฐ์ •ํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ด๋ฅผ ์œ„ํ•ด ํ•„์š”ํ•œ ๊ฒƒ์ด ๊ฒ€์ •๋ ฅ ๋ถ„์„(power analysis)์ž…๋‹ˆ๋‹ค. 2. Power Analysis ๊ฒ€์ •๋ ฅ ๋ถ„์„์€ 4๊ฐ€์ง€ ์ธ์ž(factor)์— ์˜ํ–ฅ์„ ๋ฐ›์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์•„๋ž˜ 4๊ฐ€์ง€ ์ธ์ž ์ค‘ 3๊ฐ€์ง€ ์ธ์ž๊ฐ€ ๊ฒฐ์ •๋˜์—ˆ์„ ๋•Œ ๋‚˜๋จธ์ง€ ํ•˜๋‚˜์˜ ๋ณ€์ˆ˜ ๊ฐ’์„ ๊ตฌํ•˜๋Š” ๋ถ„์„์ž…๋‹ˆ๋‹ค. - ํ†ต๊ณ„์  ๊ฒ€์ •๋ ฅ(statistical power): ๋Œ€๋ฆฝ๊ฐ€์„ค(alternative hypothesis)์ด ์‚ฌ์‹ค์ผ ๋•Œ ๊ท€๋ฌด๊ฐ€์„ค(null hypothesis)์„ ๊ธฐ๊ฐ(reject)ํ•  ํ™•๋ฅ  - ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ(sample size): ์ฃผ์–ด์ง„ ๊ฒ€์ •๋ ฅ(power)์„ ๋ณด์žฅํ•˜๊ธฐ ์œ„ํ•ด ํ•„์š”ํ•œ ์ตœ์†Œํ•œ์˜ ๊ด€์ธก์น˜ ์ˆ˜ - ์œ ์˜ ์ˆ˜์ค€(Significance level): ๊ท€๋ฌด๊ฐ€์„ค(null hypothesis)์ด ์‚ฌ์‹ค์ž„์—๋„ ์ด๋ฅผ ๊ธฐ๊ฐ(reject)ํ•  ํ™•๋ฅ  - ํšจ๊ณผ ํฌ๊ธฐ(effect size): ๋น„๊ตํ•˜๋ ค๋Š” ์ง‘๋‹จ ์‚ฌ์ด์— ์–ผ๋งˆ๋‚˜ ์ฐจ์ด๊ฐ€ ์žˆ๋Š”์ง€๋ฅผ ๋‚˜ํƒ€๋‚ด์ฃผ๋Š” ์ง€ํ‘œ 4๊ฐ€์ง€ ์ธ์ž ์ค‘ ํŠนํžˆ ์ฃผ๋ชฉํ•ด์•ผ ํ•  ๊ฒƒ์ด ํšจ๊ณผ ํฌ๊ธฐ์ž…๋‹ˆ๋‹ค. ๊ทธ ์ด์œ ๋Š” ์‹คํ—˜์˜ ํ†ต๊ณ„์  ์œ ์˜์„ฑ๋„ ์ค‘์š”ํ•˜์ง€๋งŒ, ๋น„์ฆˆ๋‹ˆ์Šค์—์„œ์˜ ํšจ๊ณผ ํฌ๊ธฐ๋„ ์ค‘์š”ํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ์•„๋ž˜์™€ ๊ฐ™์€ ์‹คํ—˜ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”์„ ๋•Œ๋Š” ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜ํ•˜๋”๋ผ๋„, ์‹ค์ œ ๋น„์ฆˆ๋‹ˆ์Šค์—์„œ์˜ ํšจ๊ณผ ํฌ๊ธฐ ์ฆ‰ ๊ตฌ๋งค์ „ํ™˜์œจ์—์„œ์˜ ์ฐจ์ด๋Š” ํฌ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ํŠธ๋ž˜ํ”ฝ์ด ๋ฐœ์ƒํ•˜๋Š” ์„œ๋น„์Šค์˜ ๊ฒฝ์šฐ ์ž‘์€ ๋น„์œจ์˜ ์ƒ์Šน์œผ๋กœ๋„ ํฐ ๋น„์ฆˆ๋‹ˆ์Šค ํšจ๊ณผ๋กœ ์ด์–ด์งˆ ์ˆ˜ ์žˆ์ง€๋งŒ, ํŠธ๋ž˜ํ”ฝ์ด ๊ทธ๋ ‡๊ฒŒ ํฌ์ง€ ์•Š์€ ์„œ๋น„์Šค์˜ ๊ฒฝ์šฐ ๋”์šฑ ํฐ ๋น„์œจ์˜ ์ƒ์Šน์ด ์žˆ์–ด์•ผ ์˜๋ฏธ ์žˆ๋Š” ๋น„์ฆˆ๋‹ˆ์Šค ํšจ๊ณผ๋กœ ์ด์–ด์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋ฏ€๋กœ ๊ฐ์ž ๋น„์ฆˆ๋‹ˆ์Šค ์ƒํ™ฉ๊ณผ ์‹คํ—˜์˜ ๋ชฉํ‘œ๋ฅผ ๊ณ ๋ คํ•˜์—ฌ A/B ํ…Œ์ŠคํŠธ ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ ๊ณ„์‚ฐ๊ธฐ์˜ โ€œMinimum Detectable Effectโ€๋ฅผ ์„ค์ •ํ•ด์•ผ๊ฒ ์Šต๋‹ˆ๋‹ค. ๋” ์ž์„ธํ•œ ๋‚ด์šฉ์€ ์•„๋ž˜ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํ•ด์ฃผ์„ธ์š”.

์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ ๊ณ„์‚ฐ๊ธฐ์— ์ˆจ์–ด์žˆ๋Š” ํ†ต๊ณ„ ์ด์•ผ๊ธฐ

PAP

2022๋…„ 1์›” 6์ผ ์˜คํ›„ 11:54

๋Œ“๊ธ€ 0

์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

์ง€๋‚œ์ฃผ ์ปค๋ฆฌ์–ด๋ฆฌ์—์„œ ์ธ๊ธฐ ์žˆ๋˜ ๊ฒŒ์‹œ๋ฌผ์ด์—์š”!

โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ