๐ŸŽ‡ [๋„ทํ”Œ๋ฆญ์Šค์—์„œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ•ด์„ํ•˜๋Š” ๋ฒ•] ๋ณธ๋ฌธ์€ ์„œ๋น„์Šค ํ…Œ์ŠคํŒ…๊ณผ ๊ด€๋ จ๋œ ํ†ต๊ณ„์  ๊ฐœ๋…์„ ์ง๊ด€์ ์œผ๋กœ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์— ์ดˆ์ ์„ ๋‘์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ๋ณต์žกํ•˜๊ณ  ๋จธ๋ฆฌ ์•„ํ”Œ ์ˆ˜ ์žˆ๋Š” ์ˆ˜ํ•™์  ๊ณ„์‚ฐ์ด ๋น ์ ธ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์˜คํžˆ๋ ค ์ง„๋˜๋ฐฐ๊ธฐ ๊ฐœ๋… ์ž์ฒด์— ๋” ์ง‘์ค‘ํ•˜๊ธฐ ์ข‹๋‹ค๋Š” ์ƒ๊ฐ์ด ๋“ญ๋‹ˆ๋‹ค. 1. ์˜ค๋ฅ˜์˜ ์ข…๋ฅ˜ A/B ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ํ•ด์„ํ•  ๋•Œ ํฌ๊ฒŒ ๋‘ ๊ฐ€์ง€ ์‹ค์ˆ˜๋ฅผ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ”๋กœ Type I: ๊ฑฐ์ง“ ์–‘์„ฑ(false positive), ๊ทธ๋ฆฌ๊ณ  Type II: ๊ฑฐ์ง“ ์Œ์„ฑ(false negative) ์˜ค๋ฅ˜์ž…๋‹ˆ๋‹ค. ๊ฑฐ์ง“ ์–‘์„ฑ์€ ์ธ๊ณผ ์ถ”๋ก ์—์„œ ์šฐ๋ฆฌ๊ฐ€ ์˜ˆ์ƒํ•œ ๋Œ€๋กœ ์น˜๋ฃŒ๊ตฐ(treatment group)์—์„œ ๋” ๊ธ์ •์ ์ธ ํšจ๊ณผ๋ฅผ ๋ณด์˜€์œผ๋‚˜, ๊ทธ ์›์ธ์ด ์˜๋„ํ•˜์ง€ ์•Š์•˜๋˜ ๋‹ค๋ฅธ ์š”์ธ ๋•Œ๋ฌธ์ธ ๊ฒฝ์šฐ์ž…๋‹ˆ๋‹ค. ์ฆ‰, ์‹ค์ œ treatment๋Š” ๋ณ„ ํšจ๊ณผ๊ฐ€ ์—†์—ˆ๋Š”๋ฐ ๋‹ค๋ฅธ ์ด์œ  ๋•Œ๋ฌธ์— ํšจ๊ณผ๊ฐ€ ์žˆ๋Š” ๊ฒƒ์ฒ˜๋Ÿผ ๋ณด์ด๋Š” ์‹ค์ˆ˜์ž…๋‹ˆ๋‹ค. ๊ฑฐ์ง“ ์Œ์„ฑ์€ ๊ทธ์™€ ๋ฐ˜๋Œ€๋กœ treatment์˜ ํšจ๊ณผ๊ฐ€ ์žˆ์—ˆ์ง€๋งŒ, ํšจ๊ณผ๊ฐ€ ์—†๋‹ค๊ณ  ์ž˜๋ชป ํŒ๋‹จํ•˜๋Š” ์‹ค์ˆ˜์ž…๋‹ˆ๋‹ค. 2. ๊ฑฐ์ง“ ์–‘์„ฑ, ๋ฐ ํ†ต๊ณ„์  ์œ ์˜์„ฑ ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•  ๋•Œ, ๊ฐ€์„ค ๋ฐ 1์ฐจ ๊ฒฐ์ • ์ง€ํ‘œ์— ๋Œ€ํ•œ ์ •๋ฆฌ๊ฐ€ ๋˜์—ˆ์œผ๋ฉด ํ†ต๊ณ„์ ์ธ ์ธก๋ฉด์„ ๊ณ ๋ คํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ด ํ”„๋กœ์„ธ์Šค๋Š” ๋ณดํ†ต ํ—ˆ์šฉ ๊ฐ€๋Šฅํ•œ ๊ฑฐ์ง“ ์–‘์„ฑ ํ—ˆ์šฉ ๋น„์œจ(acceptable false positive rate)์„ ์„ค์ •ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋น„์œจ์€ ํ†ต์ƒ์ ์œผ๋กœ 5%์ธ๋ฐ, ์ด๋Š” ๊ณง ์น˜๋ฃŒ๊ตฐ๊ณผ ๋Œ€์กฐ๊ตฐ์˜ ์œ ์˜๋ฏธํ•œ ์ฐจ์ด๊ฐ€ ์‹ค์ œ๋กœ ์—†์„ ๋•Œ 5%์˜ ํ™•๋ฅ ๋กœ ํ†ต๊ณ„์  ์œ ์˜์„ฑ(statistical significance)์ด ์กด์žฌํ•œ๋‹ค๊ณ  ํŒ๋‹จํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ๋ง์ž…๋‹ˆ๋‹ค. ์ฆ‰, 100๋ฒˆ ์ค‘ 5๋ฒˆ์˜ ๊ผด๋กœ ์šฐ๋ฆฌ๋Š” ์‹ค์ œ๋กœ ๋ƒฅ์ด๊ฐ€ ์•„๋‹Œ ์‚ฌ์ง„์„ ๋ณด๊ณ  ์ด๊ฒƒ์€ ๋ƒฅ์ด ์‚ฌ์ง„์ด๋ผ๋Š” ๊ฒฐ๋ก ์„ ๋‚ด๋ฆฌ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์šฐ๋ฆฌ๋Š” ์œ ์˜์ˆ˜์ค€(significance level) 5%๋กœ ์œ ์˜ํ•˜๋‹ค๋ผ๊ณ  ์ •์˜ํ•ฉ๋‹ˆ๋‹ค. ์œ ์˜์ˆ˜์ค€์€ p-value์™€ ๋ฐ€์ ‘ํ•œ ๊ด€๊ณ„๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. p-value๋ž€ ์น˜๋ฃŒ๊ตฐ๊ณผ ๋Œ€์กฐ๊ตฐ์˜ ์ฐจ์ด๊ฐ€ ์—†๋‹ค๊ณ  ๊ฐ€์ •ํ•  ๋•Œ, ์‹คํ—˜์„ ํ†ตํ•ด ์–ป์€ ๊ฒฐ๊ณผ์™€ ๊ฐ™๊ฑฐ๋‚˜ ๋” ๊ทน๋‹จ์ ์ธ ๊ฒฝ์šฐ๊ฐ€ ์ผ์–ด๋‚  ํ™•๋ฅ ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ๊ฐ„๋‹จํ•œ ํ™•๋ฅ  ๊ฒŒ์ž„์„ ํ†ตํ•ด p-value์— ๋Œ€ํ•ด ์ข€ ๋” ์ง๊ด€์ ์œผ๋กœ ์•Œ์•„๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋” ์ž์„ธํ•œ ์‚ฌ๋ก€๋Š” ๋ณธ๋ฌธ์„ ์ฐธ๊ณ ํ•ด์ฃผ์„ธ์š”. ์‹คํ—˜ ๋˜๋Š” A/B ํ…Œ์ŠคํŠธ์—์„œ ๋‚ด๋ฆด ์ˆ˜ ์žˆ๋Š” ๊ฒฐ๋ก ์€ ์ด ๋‘ ๊ฐ€์ง€: โ€œํšจ๊ณผ๊ฐ€ ์žˆ๋‹ค(๋™์ „์ด ๊ณตํ‰ํ•˜์ง€ ์•Š๋‹ค)โ€ ๋˜๋Š” โ€œํšจ๊ณผ๊ฐ€ ์žˆ๋‹ค๋Š” ์ฆ๊ฑฐ๊ฐ€ ์ถฉ๋ถ„ํ•˜์ง€ ์•Š๋‹คโ€์ž…๋‹ˆ๋‹ค. ์žฌํŒ์—์„œ์˜ โ€œ์œ ์ฃ„โ€ ๋˜๋Š” โ€œ์ฆ๊ฑฐ ๋ถˆ์ถฉ๋ถ„โ€๊ณผ ๋น„์Šทํ•˜์ฃ  - ์ฆ๊ฑฐ ๋ถˆ์ถฉ๋ถ„๊ณผ ๊ฒฐ๋ฐฑ์€ ์•„์ฃผ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ, A/B ํ…Œ์ŠคํŠธ์—์„œ ์ด๋Ÿฌํ•œ ์ ‘๊ทผ ๋ฐฉ์‹์€ โ€œํšจ๊ณผ๊ฐ€ ์—†๋‹คโ€๋ผ๋Š” ๊ฒฐ๋ก ์„ ํ—ˆ๋ฝํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋‹จ์ง€ ๊ท€๋ฌด ๊ฐ€์„ค์„ ๊ธฐ๊ฐํ•  ๋งŒํผ ์ถฉ๋ถ„ํ•œ ์ฆ๊ฑฐ๊ฐ€ ์—†๋‹ค๊ณ  ๊ฒฐ๋ก ์ง€์„ ๋ฟ์ž…๋‹ˆ๋‹ค. ์œ„์˜ ์˜ˆ์‹œ์—์„œ ๋™์ „์„ 100๋ฒˆ ๋˜์กŒ์„ ๋•Œ ์•ž๋ฉด์ด 55%์ธ ๊ฒฝ์šฐ์—๋Š” ๊ณตํ‰ํ•˜์ง€ ์•Š๋‹ค๊ณ  ํ• ๋งŒํ•œ ๊ทผ๊ฑฐ๊ฐ€ ์ถฉ๋ถ„ํ•˜์ง€ ์•Š๋‹ค๋ผ๊ณ  ๊ฒฐ๋ก ์ง€์—ˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ์ฝ” ๋™์ „์ด ๊ณตํ‰ํ•˜๋‹ค๊ณ  ๊ฒฐ๋ก ์ง€์€ ๊ฒƒ์ด ์•„๋‹™๋‹ˆ๋‹ค. ๋งŒ์•ฝ 100๋ฒˆ์ด ์•„๋‹ˆ๋ผ 1000๋ฒˆ ๋˜์กŒ๋‹ค๋ฉด ๋™์ „์ด ๊ณตํ‰ํ•˜๋‹ค๋Š” ๊ฐ€์„ค์„ ๋’ค์ง‘์„ ์ฆ๊ฑฐ๊ฐ€ ๋‚˜์™”์„ ์ˆ˜๋„ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. 3. ๊ธฐ๊ฐ์—ญ๊ณผ ์‹ ๋ขฐ ๊ตฌ๊ฐ„ A/B ํ…Œ์ŠคํŠธ์—์„œ p-value์™€ ๋ฐ€์ ‘ํ•˜๊ฒŒ ์—ฐ๊ด€๋˜์–ด ์žˆ๋Š” ๋‘ ๊ฐ€์ง€ ์ถ”๊ฐ€์ ์ธ ๊ฐœ๋…์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ”๋กœ ๊ธฐ๊ฐ์—ญ(rejection region)๊ณผ ์‹ ๋ขฐ ๊ตฌ๊ฐ„(confidence interval)์ž…๋‹ˆ๋‹ค. ๊ธฐ๊ฐ์—ญ์€ ๊ท€๋ฌด ๊ฐ€์„ค์„ ๊ธฐ๊ฐ์‹œํ‚ฌ ์ˆ˜ ์žˆ๋Š” ๊ฐ’์˜ ์ง‘ํ•ฉ์ž…๋‹ˆ๋‹ค. ๊ธฐ๊ฐ์—ญ์„ ๊ณ„์‚ฐํ•˜๊ธฐ ์œ„ํ•ด์„  ๋จผ์ € ๊ท€๋ฌด ๊ฐ€์„ค์ด ์ฐธ์ด๋ผ ๊ฐ€์ •ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ๊ธฐ๊ฐ ์˜์—ญ์„ โ€œ๊ด€์ฐฐ๋  ํ™•๋ฅ ์˜ ํ•ฉ์ด 0.05 ๋ณด๋‹ค ์ ์€, ๊ฐ€๋Šฅ์„ฑ์ด ๊ฐ€์žฅ ๋‚ฎ์€ ๊ฒฐ๊ณผ์˜ ์ง‘ํ•ฉโ€์ด๋ผ ์ •์˜ํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, ๊ธฐ๊ฐ์—ญ์€ ๊ฐ€์„ค์ด ๋งž๋‹ค๋Š” ์ „์ œํ•˜์—, ํ•ด๋‹น ๊ฐ€์„ค์— ๋ฐ˜๋Œ€๋˜๋Š” ์ฆ๊ฑฐ๊ฐ€ ๊ฐ€์žฅ ๊ฐ•๋ ฅํ•œ ๊ฒฐ๊ณผ์˜ ๊ตฌ์„ฑ์ž…๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์‹คํ—˜์˜ ๊ฒฐ๊ณผ๊ฐ€ ์ด ์˜์—ญ์— ์†ํ•˜๋ฉด ๊ท€๋ฌด ๊ฐ€์„ค์„ ๊ธฐ๊ฐํ•˜๊ธฐ์— ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ์ฆ๊ฑฐ๊ฐ€ ์žˆ๋‹ค๋Š” ๊ฒฐ๋ก ์„ ๋‚ด๋ฆฝ๋‹ˆ๋‹ค. ์œ„ ๋™์ „ ์‹คํ—˜์—์„œ์˜ ๊ธฐ๊ฐ์—ญ์€ ์•ž๋ฉด์ด ๋‚˜์˜ฌ ํ™•๋ฅ ์ด 60% ์ด์ƒ, ๋˜๋Š” 40% ์ดํ•˜์ธ ๊ฒฝ์šฐ(๊ทธ๋ฆผ 2์˜ ํŒŒ๋ž€ ๋ถ€๋ถ„)์ž…๋‹ˆ๋‹ค. ๊ธฐ๊ฐ์—ญ๊ณผ p-value์˜ ๊ด€๊ณ„๋Š”: ๊ด€์ฐฐ๋œ ๊ฒฐ๊ณผ๊ฐ€ ๊ธฐ๊ฐ์—ญ ์•ˆ์— ๋–จ์–ด์ง€๋Š” ๊ฒฝ์šฐ์—๋งŒ p-value๊ฐ€ 0.05๋ณด๋‹ค ์ž‘๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ํ˜„์žฌ๊นŒ์ง€์˜ ์ ‘๊ทผ ๋ฐฉ์‹์€ ๋จผ์ € ๊ท€๋ฌด ๊ฐ€์„ค์„ ์„ธ์šฐ๊ณ , ๊ฐ€๋Šฅํ•œ ๊ฒฐ๊ณผ ์ง‘ํ•ฉ์„ ์ •์˜ํ•œ ํ›„ ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ๋น„๊ตํ•˜๋Š” ์ˆœ์„œ์˜€์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์‹ ๋ขฐ๊ตฌ๊ฐ„์— ๋Œ€ํ•ด ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋จผ์ € ๊ด€์ฐฐ ๊ฒฐ๊ณผ์— ์ง‘์ค‘ํ•˜๋Š” ๊ฒƒ์ด ํŽธํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋‹ค์Œ โ€œ๊ฑฐ์ง“ ์–‘์„ฑ ํ—ˆ์šฉ ๋น„์œจ์ด 5%์ผ ๋•Œ ์–ด๋–ค ๊ฐ’์ด ๊ด€์ฐฐ๋˜์–ด์•ผ ๊ท€๋ฌด ๊ฐ€์„ค์ด ๊ธฐ๊ฐ๋˜์ง€ ์•Š์„๊นŒ?โ€ ํ•œ๋ฒˆ ์ƒ๊ฐํ•ด ๋ณด๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋™์ „ ๋˜์ง€๊ธฐ์—์„œ ์•ž๋ฉด์˜ ๋น„์œจ์ด 55%์˜€์„ ๋•Œ ๊ฐ€์„ค์„ ๊ธฐ๊ฐํ•˜์ง€ ์•Š์•˜๊ณ , ์•„๋งˆ 60% ์ผ ๋•Œ๋„ ๋งˆ์ฐฌ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค. ๊ทธ๋ฆผ 3์ด ๋ณด์—ฌ์ฃผ๋“ฏ 45%์—์„œ 65% ์ •๋„๋Š” ๊ท€๋ฌด ๊ฐ€์„ค์ด ๊ธฐ๊ฐ๋˜์ง€ ์•Š๋Š” ๋ฒ”์œ„์ž…๋‹ˆ๋‹ค. ์ด ๋ฒ”์œ„๋ฅผ โ€œ์‹ ๋ขฐ ๊ตฌ๊ฐ„โ€์ด๋ผ ๋ถ€๋ฅด๊ณ , 5% ์œ ์˜ ์ˆ˜์ค€์ด๋ผ ๋ฏธ๋ฆฌ ์ •ํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— ์‹ ๋ขฐ ์ˆ˜์ค€์€ 95%๊ฐ€ ๋ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ๋ง๋กœ ํ’€์–ด๋ณด๋ฉด: ์‹คํ—˜์„ ์—ฌ๋Ÿฌ ๋ฒˆ ๋ฐ˜๋ณตํ–ˆ์„ ๋•Œ, 95%์˜ ๊ฒฝ์šฐ ์‹ ๋ขฐ ๊ตฌ๊ฐ„ ๋‚ด์— ์‹ค์ œ ๊ฐ’(๋™์ „ ์•ž๋ฉด์ด ๋‚˜์˜ฌ ์‹ค์ œ ํ™•๋ฅ )์ด ๋“ค์–ด๊ฐ„๋‹ค๋Š” ๋œป์ž…๋‹ˆ๋‹ค. ์‹ ๋ขฐ ๊ตฌ๊ฐ„๊ณผ p-value์˜ ๊ด€๊ณ„๋Š”: 95% ์‹ ๋ขฐ๊ตฌ๊ฐ„์€ p-value๊ฐ€ 0.05๋ณด๋‹ค ์ž‘์€ ๊ฒฝ์šฐ์—๋งŒ ์‹ค์ œ ํ‰๊ท ๊ฐ’์„ ํฌํ•จํ•˜์ง€ ์•Š๊ณ , ์ด ๊ฒฝ์šฐ์— ๊ท€๋ฌด ๊ฐ€์„ค์„ ๊ธฐ๊ฐํ•ฉ๋‹ˆ๋‹ค.

๋„ทํ”Œ๋ฆญ์Šค์—์„œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ•ด์„ํ•˜๋Š” ๋ฒ•: ๊ฑฐ์ง“ ์–‘์„ฑ ์˜ค๋ฅ˜ ์•Œ์•„๋ณด๊ธฐ

PAP

๋„ทํ”Œ๋ฆญ์Šค์—์„œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ•ด์„ํ•˜๋Š” ๋ฒ•: ๊ฑฐ์ง“ ์–‘์„ฑ ์˜ค๋ฅ˜ ์•Œ์•„๋ณด๊ธฐ

๋‹ค์Œ ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•˜๋‹ค๋ฉด?

๋˜๋Š”

์ด๋ฏธ ํšŒ์›์ด์‹ ๊ฐ€์š”?

2022๋…„ 1์›” 20์ผ ์˜คํ›„ 8:59

๋Œ“๊ธ€ 0




๋น„์Šทํ•œ ๊ฒŒ์‹œ๋ฌผ

์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

1

์กฐ์„œํฌ ์ปฌ๋ฆฌ ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ์ž

๐Ÿ•Š๏ธ Java Spring Boot์—์„œ If-Else๋ฌธ ์ค„์ด๊ธฐ

2

์ด์žฅ๊ทผ NAVER ๋ฐ์ดํ„ฐ๋ถ„์„

ํšŒ์‚ฌ ์ง€์›ํ•  ๋•Œ ๊ณ ๋ฏผํ•ด์•ผ ํ•  ๋ณธ์งˆ์ ์ธ ์งˆ๋ฌธ

3

์ด์–‘์ผ NaverCloud ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ์ž

๐Ÿ“š ๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ ๋ถ๋งˆํฌ ๋ชจ์Œ์ง‘

4

ํ•œ๊ธฐ์šฉ UpZen ์ฐฝ์—…์ž ๋Œ€ํ‘œ

์‹ค๋ฆฌ์ฝ˜๋ฐธ๋ฆฌ ๊ฐœ๋ฐœ์ž vs. ํ•œ๊ตญ ๊ฐœ๋ฐœ์ž

5

๋‹ฌ๋ ˆ ๋ธ”๋กœ๊ทธ ์“ฐ๋Š” ๊ฐœ๋ฐœ์ž โœ๏ธ

ํ…Œ์ŠคํŠธ๋ฅผ ํ•˜์ง€ ์•Š์•„ ๋‚ญ๋น„๋  "์šฐ๋ฆฌ"์˜ ์‹œ๊ฐ„

์ถ”์ฒœ ํ”„๋กœํ•„