[๐Ÿ’ชA/B ํ…Œ์ŠคํŠธ ์‹œ ๋ฐ˜๋“œ์‹œ ํ™•์ธํ•ด์•ผ ํ•  11๊ฐ€์ง€ ์ฒดํฌ๋ฆฌ์ŠคํŠธ!] (๐Ÿ‘€๊ฐ„๋‹จ ์š”์•ฝ) โ€œ์ง๊ฐโ€์„ ๋”ฐ๋ฅด๋Š” ๋งˆ์ผ€ํŒ… ์˜์‚ฌ๊ฒฐ์ •์€ ์ƒ๋‹นํžˆ ํ•ด๋กœ์šด ๊ฒฐ๊ณผ๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ์ •์„ ๋‚ด๋ฆด ๋•Œ์—๋Š” ์ถ”์ธก์ด๋‚˜ ๊ฐ€์ •์— ์˜์กดํ•˜๋Š” ๋Œ€์‹ , โ€˜์Šคํ”Œ๋ฆฟ ํ…Œ์ŠคํŠธ(Split Test)โ€™๋ผ๊ณ ๋„ ๋ถˆ๋ฆฌ๋Š” โ€œA/B ํ…Œ์ŠคํŠธโ€๋ฅผ ์šด์˜ํ•˜๋Š” ํŽธ์ด ์ข‹์Šต๋‹ˆ๋‹ค. A/B ํ…Œ์ŠคํŠธ๋ฅผ ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋™์ผํ•œ ์ฝ˜ํ…์ธ ์˜ ๋‘ ๊ฐ€์ง€ ๋ฒ„์ „(๋ฒ„์ „ A ๊ทธ๋ฆฌ๊ณ  ๋ฒ„์ „ B)์ด ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๋‘ ๊ฐ€์ง€ ๋ฒ„์ „์€ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ์ „๋ถ€ ๋‹ค๋ฅธ ๋ฒ„์ „์ด ์•„๋‹ˆ๋ผ ํ•œ ๊ฐ€์ง€ ์š”์†Œ๋งŒ์ด ๋‹ฌ๋ผ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ“Œํ…Œ์ŠคํŠธํ•  ๋ณ€์ˆ˜๋Š” ํ•˜๋‚˜๋งŒ ์„ ํƒํ•˜์ž ํšจ๊ณผ๋ฅผ ์ธก์ •ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ํ•˜๋‚˜์˜ โ€˜๋…๋ฆฝ๋ณ€์ˆ˜โ€™๋กœ ๋ถ„๋ฆฌ์‹œ์ผœ ํผํฌ๋จผ์Šค๋ฅผ ์ธก์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ์š”์†Œ๊ฐ€ ์„ž์ด๋ฉด ์ •ํ™•ํžˆ ์–ด๋–ค ์š”์†Œ๊ฐ€ ํผํฌ๋จผ์Šค์— ๋ณ€ํ™”๋ฅผ ์ฃผ์—ˆ๋Š”์ง€ ํŒŒ์•…ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ๐Ÿ“Œ๋ชฉํ‘œ๋ฅผ ํ™•์ธํ•˜์ž ํ…Œ์ŠคํŠธ๋งˆ๋‹ค ๋ณต์ˆ˜์˜ ์ง€ํ‘œ๋ฅผ ์ธก์ •ํ•˜๊ฒ ์ง€๋งŒ ํ…Œ์ŠคํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์ „ ๊ธฐ๋ณธ์ด ๋  ์ง€ํ‘œ๋ฅผ ๋ฐ˜๋“œ์‹œ ํ•˜๋‚˜๋งŒ ๊ณ ๋ฅด๊ณ  ํ•ด๋‹น ์ง€ํ‘œ์— ์ง‘์ค‘ํ•˜์„ธ์š”. ๋‚˜๋จธ์ง€ ๋ฒ„์ „๋„ ๋งˆ์ฐฌ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ๋ณ€์ˆ˜๊ฐ€ ์ด๋ฒˆ ํ…Œ์ŠคํŠธ์˜ โ€œ์ข…์† ๋ณ€์ˆ˜Dependent variableโ€๊ฐ€ ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๐Ÿ“ŒControl๊ณผ Challenger๋ฅผ ๋งŒ๋“ค์ž ์›ํ•˜๋Š” ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ์–ป๊ธฐ ์œ„ํ•œ ๋…๋ฆฝ ๋ณ€์ˆ˜์™€ ์ข…์† ๋ณ€์ˆ˜๋ฅผ ์„ ํƒํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ๋…๋ฆฝ๋ณ€์ˆ˜์™€ ์ข…์†๋ณ€์ˆ˜์— ๋Œ€ํ•œ ์ •๋ณด๋ฅผ ํ™œ์šฉํ•˜์—ฌ Control๋กœ ์„ค์ •ํ•œ ๊ธฐ์กด ๋ฒ„์ „์„ ํ…Œ์ŠคํŠธํ•ด๋ด…์‹œ๋‹ค.ย ๋งŒ์•ฝ ๋žœ๋”ฉํŽ˜์ด์ง€๋ฅผ ํ…Œ์ŠคํŠธํ•˜๋Š” ์ค‘์ด๋ผ๋ฉด, ์ผ๋ฐ˜์ ์œผ๋กœ Control์€ ๋ณดํ†ต ์‚ฌ์šฉํ•˜๋Š” ๋žœ๋”ฉ ํŽ˜์ด์ง€์˜ ๋””์ž์ธ๊ณผ ์นดํ”ผ๋กœ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋ถ€ํ„ฐ ์—…๋ฐ์ดํŠธ ๋ฒ„์ „ ํ˜น์€ โ€œChallengerโ€๋ผ๊ณ  ๋ถˆ๋ฆฌ๋Š”ย  ๋ฒ„์ „์„ ๊ตฌ์ถ•ํ•  ์‹œ๊ฐ„์ž…๋‹ˆ๋‹ค. โ€“ ์›น์‚ฌ์ดํŠธ, ๋žœ๋”ฉ ํŽ˜์ด์ง€ ํ˜น์€ ์ด๋ฉ”์ผ ๋“ฑ Control๊ณผ ๋น„๊ตํ•˜๊ณ  ๋Œ€์กฐํ•˜๋ฉฐ A/B ํ…Œ์ŠคํŠธํ•˜์„ธ์š”.ย  ๐Ÿ“Œํ‘œ๋ณธ ๊ทธ๋ฃน์„ ๋ฌด์ž‘์œ„๋กœ ๋‚˜๋ˆ„๋˜ ๋™์ผํ•˜๊ฒŒ ์ชผ๊ฐœ์ž ์ƒ๋Œ€์ ์œผ๋กœ ์ž ์žฌ๊ณ ๊ฐ(Audience)์„ ํ†ต์ œํ•˜๊ธฐ ์‰ฌ์šด ํ…Œ์ŠคํŠธ์˜ ๊ฒฝ์šฐ โ€“ ์ด๋ฉ”์ผ๊ณผ ๊ฐ™์ด โ€“ ๊ฒฐ์ •์ ์ธ ๋‹จ์„œ๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋‘ ๊ฐœ ์ด์ƒ์˜ ๋™์ผ ๊ทธ๋ฃน์„ ํ…Œ์ŠคํŠธํ•  ํ•„์š”๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๐Ÿ“Œ(๊ฐ€๋Šฅํ•˜๋‹ค๋ฉด) ํ‘œ๋ณธ์˜ ํฌ๊ธฐ๋ฅผ ๊ฒฐ์ •ํ•˜์ž ์›นํŽ˜์ด์ง€์ฒ˜๋Ÿผ ๊ตฌ์ฒด์ ์ธ ํ‘œ๋ณธ์˜ ์ˆ˜๋ฅผ ์•Œ ์ˆ˜ ์—†๋Š” ์ƒํ™ฉ์—์„œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•œ๋‹ค๊ณ  ๊ฐ€์ •ํ•ด๋ด…์‹œ๋‹ค. ํ•ด๋‹น ๊ฒฝ์šฐ์—๋Š” ํ…Œ์ŠคํŠธ์˜ ์ˆ˜ํ–‰ ๊ธฐ๊ฐ„์ด๋‚˜ ์‹œ๊ฐ„์ด ํ‘œ๋ณธ์˜ ํฌ๊ธฐ์— ์˜ํ–ฅ์„ ์ง์ ‘ ์ค„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿด ๋•Œ๋Š” ์šฐ์„  ์ƒ๋‹นํ•œ ์ˆ˜์˜ ๋ทฐ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์„ ์ •๋„๋กœ ํ…Œ์ŠคํŠธ๋ฅผ ์˜ค๋ž˜ ์‹คํ–‰ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ๊ฐ€ ์ถฉ๋ถ„์น˜ ์•Š๋‹ค๋ฉด ๊ฐ ๋ฒ„์ „ ์‚ฌ์ด์—์„œ ์œ ์˜๋ฏธํ•œ ์ฐจ์ด๊ฐ€ ๋ฐœ์ƒํ–ˆ๋Š”์ง€ ํ™•์ธํ•˜๊ธฐ ํž˜๋“ค๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๐Ÿ“Œํ•„์š”๋กœ ํ•˜๋Š” ๊ฒฐ๊ณผ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ค‘์š”ํ•œ์ง€ ๊ฒฐ์ •ํ•˜์ž ์œ„์˜ ๋‹จ๊ณ„์—์„œ ๋ชฉํ‘œ๊ฐ€ ๋˜๋Š” ์ง€ํ‘œ(Goal metric)๋ฅผ ๊ณ ๋ฅด์…จ๋‚˜์š”? ๋‹ค๋ฅธ ๋ฒ„์ „์˜ โ€˜ํ๊ธฐโ€™๋ฅผ ์ •๋‹นํ™”ํ•  ๋งŒํผ ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ฃผ๋Š”์ง€ ๊ณ ๋ฏผํ•  ์‹œ๊ฐ„์ž…๋‹ˆ๋‹ค. ํ†ต๊ณ„์  ์œ ์˜์„ฑ(Statistical significance)์€ ํ•จ์ •์— ๋น ์ง€๊ธฐ ์‰ฌ์šด A/B ํ…Œ์ŠคํŠธ์˜ ๊ณผ์ •์—์„œ ๊ต‰์žฅํžˆ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ“Œ์–ด๋–ค ์บ ํŽ˜์ธ์ด๋”๋ผ๋„ ํ•œ ๋ฒˆ์— ํ•˜๋‚˜์˜ ํ…Œ์ŠคํŠธ๋งŒ ์šด์˜ํ•˜์ž ํ•˜๋‚˜์˜ ์บ ํŽ˜์ธ์„ ์œ„ํ•ด ํ•œ ๊ฐ€์ง€ ์ด์ƒ์„ ํ…Œ์ŠคํŠธํ•˜๋ฉด โ€“ ์ •ํ™•ํ•˜๊ฒŒ ๋™์ผํ•œ ์—์…‹(๊ด‘๊ณ  ์ œ๋ชฉ, ์„ค๋ช…, ์ด๋ฏธ์ง€, ๋กœ๊ณ  ๋“ฑ)์ด ์•„๋‹์ง€๋ผ๋„ โ€“ ์‹คํ—˜์˜ ๊ฒฐ๊ณผ๋ฅผ ๋ณต์žกํ•˜๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.ย  (๐Ÿ‘‹์ค‘์š”ํ•œ ์ด์œ ๊ฐ€ ๋ญ”๊ฐ€์š”?) A/Bํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•˜๋ฉฐ ๊ฐ€์žฅ ๋งŽ์ด ํ•˜๋Š” ์‹ค์ˆ˜ ์ค‘ ๋‘ ๊ฐœ๊ฐ€ โ€˜ํ•œ ๋ฒˆ์— ํ•˜๋‚˜์˜ ํ…Œ์ŠคํŠธ๋งŒ ์šด์˜ํ•˜์žโ€™์™€ โ€˜ํ•˜๋‚˜์˜ ๋ณ€์ˆ˜๋งŒ ์„ ํƒํ•˜์ž ์ž…๋‹ˆ๋‹คโ€™ ์ด ๋‘˜์€ A/Bํ…Œ์ŠคํŠธ์˜ ์‹œ์ž‘๊ณผ ๋๊ณผ ์—ฐ๊ด€๋˜์–ด ์žˆ๊ธฐ์— ๋” ์ค‘์š”ํ•œ ๋‚ด์šฉ ์ด๊ธฐ๋„ ํ•˜์ฃ . ์‹œ์ž‘ํ•˜๊ธฐ ์ „, ์œ„ ๋‚ด์šฉ์„ ํ•œ ๋ฒˆ์”ฉ ์‚ดํŽด๋ณด๋Š” ๊ฒƒ๋งŒ์œผ๋กœ๋„ ๋ณ€์ˆ˜ ํ†ต์ œ๋Š” ๋ฌผ๋ก  ์‹ค์ˆ˜๋ฅผ ์ตœ์†Œํ™” ํ•˜๋Š”๋ฐ ์žˆ์–ด ํฐ ๋„์›€์ด ๋  ๊ฒƒ ๊ฐ™์•„ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค :) (๐Ÿคœํ•จ๊ป˜ ๋ณด์„ธ์š”!) ํšจ๊ณผ์ ์ธ ์‹คํ—˜ ์ˆ˜ํ–‰์„ ์œ„ํ•œ 7๊ฐ€์ง€ ์Šต๊ด€ : https://news.publy.co/comments/6267

A/B ํ…Œ์ŠคํŠธ ์ค‘์ด๋ผ๋ฉด ๋ถ๋งˆํฌํ•ด์•ผ ํ•  ์ฒดํฌ๋ฆฌ์ŠคํŠธ : 1ํŽธ - HelloDigital

HelloDigital

A/B ํ…Œ์ŠคํŠธ ์ค‘์ด๋ผ๋ฉด ๋ถ๋งˆํฌํ•ด์•ผ ํ•  ์ฒดํฌ๋ฆฌ์ŠคํŠธ : 1ํŽธ - HelloDigital

๋‹ค์Œ ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•˜๋‹ค๋ฉด?

๋˜๋Š”

์ด๋ฏธ ํšŒ์›์ด์‹ ๊ฐ€์š”?

2020๋…„ 6์›” 8์ผ ์˜คํ›„ 1:32

ย โ€ขย 

์ €์žฅ 24 โ€ข ์กฐํšŒ 621

๋Œ“๊ธ€ 0




๋น„์Šทํ•œ ๊ฒŒ์‹œ๋ฌผ

์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

1

๋‹ฌ๋ ˆ ๋ธ”๋กœ๊ทธ ์“ฐ๋Š” ๊ฐœ๋ฐœ์ž โœ๏ธ

์‹ค์‹œ๊ฐ„ ์–‘๋ฐฉํ–ฅ ํ†ต์‹ ์„ ์œ„ํ•œ ์›น์†Œ์ผ“(WebSocket)

2

๊ณจ๋นˆํ•ด์ปค Chief Maker

์ฝ”๋”ฉ ์—ฐ์Šต์šฉ์œผ๋กœ ์ข‹์€ ์ฃผ์ œ๋กœ โ€œ์†Œ์ฝ”๋ฐ˜โ€์ด๋ผ๋Š” ๊ณ ์ „ ๊ฒŒ์ž„์ด ์žˆ์Šต๋‹ˆ๋‹ค

3

Outsider ๋‹น๊ทผ๋งˆ์ผ“ SRE

GitHub์„ ํšŒ์‚ฌ์—์„œ ํ˜‘์—…์„ ํ•˜๋‹ค๋ณด๋ฉด ํ˜‘์—…์„ ์‰ฝ๊ฒŒ ํ•˜๊ธฐ ์œ„ํ•ด์„œ

4

์กฐ์„œํฌ ์ปฌ๋ฆฌ ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ์ž

๐Ÿ•Š๏ธ [Medium] ๋ชจ๋“  ์—”์ง€๋‹ˆ์–ด๊ฐ€ ํ•„์š”ํ•œ 15๊ฐœ์˜ ์‹œ๊ฐ„ ์ ˆ์•ฝ

5

๊ถŒํƒœ๊ด€ NAVER ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด

๋” ๋‚˜์€ ํ”„๋กœ๊ทธ๋ž˜๋จธ ๋˜๋Š” ๋งˆ์ง€๋ง‰๋…ธํ•˜์šฐ

์ถ”์ฒœ ํ”„๋กœํ•„