[๐Ÿ’ชA/B ํ…Œ์ŠคํŠธ ์‹œ ๋ฐ˜๋“œ์‹œ ํ™•์ธํ•ด์•ผ ํ•  11๊ฐ€์ง€ ์ฒดํฌ๋ฆฌ์ŠคํŠธ!] (๐Ÿ‘€๊ฐ„๋‹จ ์š”์•ฝ) โ€œ์ง๊ฐโ€์„ ๋”ฐ๋ฅด๋Š” ๋งˆ์ผ€ํŒ… ์˜์‚ฌ๊ฒฐ์ •์€ ์ƒ๋‹นํžˆ ํ•ด๋กœ์šด ๊ฒฐ๊ณผ๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ์ •์„ ๋‚ด๋ฆด ๋•Œ์—๋Š” ์ถ”์ธก์ด๋‚˜ ๊ฐ€์ •์— ์˜์กดํ•˜๋Š” ๋Œ€์‹ , โ€˜์Šคํ”Œ๋ฆฟ ํ…Œ์ŠคํŠธ(Split Test)โ€™๋ผ๊ณ ๋„ ๋ถˆ๋ฆฌ๋Š” โ€œA/B ํ…Œ์ŠคํŠธโ€๋ฅผ ์šด์˜ํ•˜๋Š” ํŽธ์ด ์ข‹์Šต๋‹ˆ๋‹ค. A/B ํ…Œ์ŠคํŠธ๋ฅผ ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋™์ผํ•œ ์ฝ˜ํ…์ธ ์˜ ๋‘ ๊ฐ€์ง€ ๋ฒ„์ „(๋ฒ„์ „ A ๊ทธ๋ฆฌ๊ณ  ๋ฒ„์ „ B)์ด ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๋‘ ๊ฐ€์ง€ ๋ฒ„์ „์€ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ์ „๋ถ€ ๋‹ค๋ฅธ ๋ฒ„์ „์ด ์•„๋‹ˆ๋ผ ํ•œ ๊ฐ€์ง€ ์š”์†Œ๋งŒ์ด ๋‹ฌ๋ผ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ“Œํ…Œ์ŠคํŠธํ•  ๋ณ€์ˆ˜๋Š” ํ•˜๋‚˜๋งŒ ์„ ํƒํ•˜์ž ํšจ๊ณผ๋ฅผ ์ธก์ •ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ํ•˜๋‚˜์˜ โ€˜๋…๋ฆฝ๋ณ€์ˆ˜โ€™๋กœ ๋ถ„๋ฆฌ์‹œ์ผœ ํผํฌ๋จผ์Šค๋ฅผ ์ธก์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ์š”์†Œ๊ฐ€ ์„ž์ด๋ฉด ์ •ํ™•ํžˆ ์–ด๋–ค ์š”์†Œ๊ฐ€ ํผํฌ๋จผ์Šค์— ๋ณ€ํ™”๋ฅผ ์ฃผ์—ˆ๋Š”์ง€ ํŒŒ์•…ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ๐Ÿ“Œ๋ชฉํ‘œ๋ฅผ ํ™•์ธํ•˜์ž ํ…Œ์ŠคํŠธ๋งˆ๋‹ค ๋ณต์ˆ˜์˜ ์ง€ํ‘œ๋ฅผ ์ธก์ •ํ•˜๊ฒ ์ง€๋งŒ ํ…Œ์ŠคํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์ „ ๊ธฐ๋ณธ์ด ๋  ์ง€ํ‘œ๋ฅผ ๋ฐ˜๋“œ์‹œ ํ•˜๋‚˜๋งŒ ๊ณ ๋ฅด๊ณ  ํ•ด๋‹น ์ง€ํ‘œ์— ์ง‘์ค‘ํ•˜์„ธ์š”. ๋‚˜๋จธ์ง€ ๋ฒ„์ „๋„ ๋งˆ์ฐฌ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ๋ณ€์ˆ˜๊ฐ€ ์ด๋ฒˆ ํ…Œ์ŠคํŠธ์˜ โ€œ์ข…์† ๋ณ€์ˆ˜Dependent variableโ€๊ฐ€ ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๐Ÿ“ŒControl๊ณผ Challenger๋ฅผ ๋งŒ๋“ค์ž ์›ํ•˜๋Š” ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ์–ป๊ธฐ ์œ„ํ•œ ๋…๋ฆฝ ๋ณ€์ˆ˜์™€ ์ข…์† ๋ณ€์ˆ˜๋ฅผ ์„ ํƒํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ๋…๋ฆฝ๋ณ€์ˆ˜์™€ ์ข…์†๋ณ€์ˆ˜์— ๋Œ€ํ•œ ์ •๋ณด๋ฅผ ํ™œ์šฉํ•˜์—ฌ Control๋กœ ์„ค์ •ํ•œ ๊ธฐ์กด ๋ฒ„์ „์„ ํ…Œ์ŠคํŠธํ•ด๋ด…์‹œ๋‹ค. ๋งŒ์•ฝ ๋žœ๋”ฉํŽ˜์ด์ง€๋ฅผ ํ…Œ์ŠคํŠธํ•˜๋Š” ์ค‘์ด๋ผ๋ฉด, ์ผ๋ฐ˜์ ์œผ๋กœ Control์€ ๋ณดํ†ต ์‚ฌ์šฉํ•˜๋Š” ๋žœ๋”ฉ ํŽ˜์ด์ง€์˜ ๋””์ž์ธ๊ณผ ์นดํ”ผ๋กœ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋ถ€ํ„ฐ ์—…๋ฐ์ดํŠธ ๋ฒ„์ „ ํ˜น์€ โ€œChallengerโ€๋ผ๊ณ  ๋ถˆ๋ฆฌ๋Š”  ๋ฒ„์ „์„ ๊ตฌ์ถ•ํ•  ์‹œ๊ฐ„์ž…๋‹ˆ๋‹ค. โ€“ ์›น์‚ฌ์ดํŠธ, ๋žœ๋”ฉ ํŽ˜์ด์ง€ ํ˜น์€ ์ด๋ฉ”์ผ ๋“ฑ Control๊ณผ ๋น„๊ตํ•˜๊ณ  ๋Œ€์กฐํ•˜๋ฉฐ A/B ํ…Œ์ŠคํŠธํ•˜์„ธ์š”.  ๐Ÿ“Œํ‘œ๋ณธ ๊ทธ๋ฃน์„ ๋ฌด์ž‘์œ„๋กœ ๋‚˜๋ˆ„๋˜ ๋™์ผํ•˜๊ฒŒ ์ชผ๊ฐœ์ž ์ƒ๋Œ€์ ์œผ๋กœ ์ž ์žฌ๊ณ ๊ฐ(Audience)์„ ํ†ต์ œํ•˜๊ธฐ ์‰ฌ์šด ํ…Œ์ŠคํŠธ์˜ ๊ฒฝ์šฐ โ€“ ์ด๋ฉ”์ผ๊ณผ ๊ฐ™์ด โ€“ ๊ฒฐ์ •์ ์ธ ๋‹จ์„œ๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋‘ ๊ฐœ ์ด์ƒ์˜ ๋™์ผ ๊ทธ๋ฃน์„ ํ…Œ์ŠคํŠธํ•  ํ•„์š”๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๐Ÿ“Œ(๊ฐ€๋Šฅํ•˜๋‹ค๋ฉด) ํ‘œ๋ณธ์˜ ํฌ๊ธฐ๋ฅผ ๊ฒฐ์ •ํ•˜์ž ์›นํŽ˜์ด์ง€์ฒ˜๋Ÿผ ๊ตฌ์ฒด์ ์ธ ํ‘œ๋ณธ์˜ ์ˆ˜๋ฅผ ์•Œ ์ˆ˜ ์—†๋Š” ์ƒํ™ฉ์—์„œ A/B ํ…Œ์ŠคํŠธ๋ฅผ ์ˆ˜ํ–‰ํ•œ๋‹ค๊ณ  ๊ฐ€์ •ํ•ด๋ด…์‹œ๋‹ค. ํ•ด๋‹น ๊ฒฝ์šฐ์—๋Š” ํ…Œ์ŠคํŠธ์˜ ์ˆ˜ํ–‰ ๊ธฐ๊ฐ„์ด๋‚˜ ์‹œ๊ฐ„์ด ํ‘œ๋ณธ์˜ ํฌ๊ธฐ์— ์˜ํ–ฅ์„ ์ง์ ‘ ์ค„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿด ๋•Œ๋Š” ์šฐ์„  ์ƒ๋‹นํ•œ ์ˆ˜์˜ ๋ทฐ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์„ ์ •๋„๋กœ ํ…Œ์ŠคํŠธ๋ฅผ ์˜ค๋ž˜ ์‹คํ–‰ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ๊ฐ€ ์ถฉ๋ถ„์น˜ ์•Š๋‹ค๋ฉด ๊ฐ ๋ฒ„์ „ ์‚ฌ์ด์—์„œ ์œ ์˜๋ฏธํ•œ ์ฐจ์ด๊ฐ€ ๋ฐœ์ƒํ–ˆ๋Š”์ง€ ํ™•์ธํ•˜๊ธฐ ํž˜๋“ค๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๐Ÿ“Œํ•„์š”๋กœ ํ•˜๋Š” ๊ฒฐ๊ณผ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ค‘์š”ํ•œ์ง€ ๊ฒฐ์ •ํ•˜์ž ์œ„์˜ ๋‹จ๊ณ„์—์„œ ๋ชฉํ‘œ๊ฐ€ ๋˜๋Š” ์ง€ํ‘œ(Goal metric)๋ฅผ ๊ณ ๋ฅด์…จ๋‚˜์š”? ๋‹ค๋ฅธ ๋ฒ„์ „์˜ โ€˜ํ๊ธฐโ€™๋ฅผ ์ •๋‹นํ™”ํ•  ๋งŒํผ ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ฃผ๋Š”์ง€ ๊ณ ๋ฏผํ•  ์‹œ๊ฐ„์ž…๋‹ˆ๋‹ค. ํ†ต๊ณ„์  ์œ ์˜์„ฑ(Statistical significance)์€ ํ•จ์ •์— ๋น ์ง€๊ธฐ ์‰ฌ์šด A/B ํ…Œ์ŠคํŠธ์˜ ๊ณผ์ •์—์„œ ๊ต‰์žฅํžˆ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ“Œ์–ด๋–ค ์บ ํŽ˜์ธ์ด๋”๋ผ๋„ ํ•œ ๋ฒˆ์— ํ•˜๋‚˜์˜ ํ…Œ์ŠคํŠธ๋งŒ ์šด์˜ํ•˜์ž ํ•˜๋‚˜์˜ ์บ ํŽ˜์ธ์„ ์œ„ํ•ด ํ•œ ๊ฐ€์ง€ ์ด์ƒ์„ ํ…Œ์ŠคํŠธํ•˜๋ฉด โ€“ ์ •ํ™•ํ•˜๊ฒŒ ๋™์ผํ•œ ์—์…‹(๊ด‘๊ณ  ์ œ๋ชฉ, ์„ค๋ช…, ์ด๋ฏธ์ง€, ๋กœ๊ณ  ๋“ฑ)์ด ์•„๋‹์ง€๋ผ๋„ โ€“ ์‹คํ—˜์˜ ๊ฒฐ๊ณผ๋ฅผ ๋ณต์žกํ•˜๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.  (๐Ÿ‘‹์ค‘์š”ํ•œ ์ด์œ ๊ฐ€ ๋ญ”๊ฐ€์š”?) A/Bํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ•˜๋ฉฐ ๊ฐ€์žฅ ๋งŽ์ด ํ•˜๋Š” ์‹ค์ˆ˜ ์ค‘ ๋‘ ๊ฐœ๊ฐ€ โ€˜ํ•œ ๋ฒˆ์— ํ•˜๋‚˜์˜ ํ…Œ์ŠคํŠธ๋งŒ ์šด์˜ํ•˜์žโ€™์™€ โ€˜ํ•˜๋‚˜์˜ ๋ณ€์ˆ˜๋งŒ ์„ ํƒํ•˜์ž ์ž…๋‹ˆ๋‹คโ€™ ์ด ๋‘˜์€ A/Bํ…Œ์ŠคํŠธ์˜ ์‹œ์ž‘๊ณผ ๋๊ณผ ์—ฐ๊ด€๋˜์–ด ์žˆ๊ธฐ์— ๋” ์ค‘์š”ํ•œ ๋‚ด์šฉ ์ด๊ธฐ๋„ ํ•˜์ฃ . ์‹œ์ž‘ํ•˜๊ธฐ ์ „, ์œ„ ๋‚ด์šฉ์„ ํ•œ ๋ฒˆ์”ฉ ์‚ดํŽด๋ณด๋Š” ๊ฒƒ๋งŒ์œผ๋กœ๋„ ๋ณ€์ˆ˜ ํ†ต์ œ๋Š” ๋ฌผ๋ก  ์‹ค์ˆ˜๋ฅผ ์ตœ์†Œํ™” ํ•˜๋Š”๋ฐ ์žˆ์–ด ํฐ ๋„์›€์ด ๋  ๊ฒƒ ๊ฐ™์•„ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค :) (๐Ÿคœํ•จ๊ป˜ ๋ณด์„ธ์š”!) ํšจ๊ณผ์ ์ธ ์‹คํ—˜ ์ˆ˜ํ–‰์„ ์œ„ํ•œ 7๊ฐ€์ง€ ์Šต๊ด€ : https://news.publy.co/comments/6267

A/B ํ…Œ์ŠคํŠธ ์ค‘์ด๋ผ๋ฉด ๋ถ๋งˆํฌํ•ด์•ผ ํ•  ์ฒดํฌ๋ฆฌ์ŠคํŠธ : 1ํŽธ - HelloDigital

HelloDigital

A/B ํ…Œ์ŠคํŠธ ์ค‘์ด๋ผ๋ฉด ๋ถ๋งˆํฌํ•ด์•ผ ํ•  ์ฒดํฌ๋ฆฌ์ŠคํŠธ : 1ํŽธ - HelloDigital

๋‹ค์Œ ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•˜๋‹ค๋ฉด?

๋˜๋Š”

์ด๋ฏธ ํšŒ์›์ด์‹ ๊ฐ€์š”?

2020๋…„ 6์›” 8์ผ ์˜คํ›„ 1:32

 โ€ข 

์ €์žฅ 24 โ€ข ์กฐํšŒ 643

๋Œ“๊ธ€ 0

    ํ•จ๊ป˜ ์ฝ์€ ๊ฒŒ์‹œ๋ฌผ

    [์ผํ„ฐ์˜ ๊ทผ์œก] ์ปฌ๋ฆฌ ์ผ์ž˜๋Ÿฌ๋“ค์˜ ๊ณตํ†ต์ 

    '

    ... ๋” ๋ณด๊ธฐ

    ๋‚ด ์˜† ์ผ ์ž˜ํ•˜๋Š” ๋™๋ฃŒ๊ฐ€ ๊ฐ€์ง„ ๊ฒƒ

    Brunch Story

    ๋‚ด ์˜† ์ผ ์ž˜ํ•˜๋Š” ๋™๋ฃŒ๊ฐ€ ๊ฐ€์ง„ ๊ฒƒ


    ์ฑ—GPT๊ฐ€ ๋Œ€์ค‘์ ์œผ๋กœ ๋“ฑ์žฅํ•ด์„œ ํ™”์ œ๋ชฐ์ด๋ฅผ ์‹œ์ž‘ํ–ˆ๋˜ 2๋…„์—ฌ์ „, ์–ผ๋ฆฌ์–ด๋Œ‘ํ„ฐ๋“ค์˜ ์ฑ—GPT ์‚ฌ์šฉํ–‰ํƒœ๋ฅผ ๋ณด๊ณ  ์ฑ—GPT์— ๊ฐ€์žฅ ๋จผ์ € ํฐ ์˜ํ–ฅ์„ ๋ฐ›์„ ์„œ๋น„์Šค๊ฐ€ ๊ฒ€์ƒ‰์„œ๋น„์Šค/ํฌํ„ธ์„œ๋น„์Šค๋ผ๊ณ  ์ด์•ผ๊ธฐํ•ด์™”๋Š”๋ฐ, ์ด์ œ ๊ทธ๊ฒŒ ํ˜„์‹ค๋กœ ์ฆ๋ช…๋œ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”๋‹ค. ์ฑ—GPT ๊ณ„์—ด์˜ ์„œ๋น„์Šค๋ฅผ

    ... ๋” ๋ณด๊ธฐ

    ๊ตฌ๊ธ€ ๊ฒ€์ƒ‰ ์ ์œ ์œจ 10๋…„๋งŒ์— 90%๋ถ•๊ดดโ€ฆ๋จธ์Šคํฌ โ€œAI๊ฐ€ ๊ฒ€์ƒ‰ ๋Œ€์ฒดโ€

    ๋™์•„์ผ๋ณด

    ๊ตฌ๊ธ€ ๊ฒ€์ƒ‰ ์ ์œ ์œจ 10๋…„๋งŒ์— 90%๋ถ•๊ดดโ€ฆ๋จธ์Šคํฌ โ€œAI๊ฐ€ ๊ฒ€์ƒ‰ ๋Œ€์ฒดโ€

    < ๋ชจ๋“  ์‹œ๋„๋Š” ๋‘˜ ์ค‘ ํ•˜๋‚˜๋‹ค. ์„ฑ๊ณตํ•˜๊ฑฐ๋‚˜ ๋ฐฐ์šฐ๊ฑฐ๋‚˜ >

    1. ํฐ ์ˆ˜์˜ ๋ฒ•์น™. ์‹œ๋„๊ฐ€ ๋งŽ์•„์งˆ์ˆ˜๋ก ๊ฒฐ๊ณผ๋Š” ํ‰๊ท ์— ์ˆ˜๋ ดํ•œ๋‹ค. ์ฃผ์‚ฌ์œ„๋ฅผ ๋งŽ์ด ๋˜์งˆ์ˆ˜๋ก ๊ฐ ์ˆซ์ž๊ฐ€ ๋‚˜์˜ค๋Š” ํ™•๋ฅ ์€ 1/6์— ๊ฐ€๊น๋‹ค.

    ... ๋” ๋ณด๊ธฐ

    โŸช๐Ÿš€ ์œ ๋‹ˆ์ฝ˜์ด๋ผ ๋ถˆ๋ฆฌ๋˜ ๊ทธ๋“ค, ์ด์ œ ์ง„์งœ ์‹ค๋ ฅ์„ ๋ณด์—ฌ์ค„ ๋•ŒโŸซ

    ์–ด

    ... ๋” ๋ณด๊ธฐ

    ํ† ์Šคยท๋‹น๊ทผยท์˜ค๋Š˜์˜์ง‘, ์ฐ”๋” ํ‘์ž๋ผ๊ณ  ์›ƒ์„ ๋•Œ ์•„๋‹™๋‹ˆ๋‹ค (ํŒŒ์ธ๋“œ์–ด์Šค ์ด์žฌ์šฉ ํšŒ๊ณ„์‚ฌ) | Walcoln SJ Rhee

    www.linkedin.com

    ํ† ์Šคยท๋‹น๊ทผยท์˜ค๋Š˜์˜์ง‘, ์ฐ”๋” ํ‘์ž๋ผ๊ณ  ์›ƒ์„ ๋•Œ ์•„๋‹™๋‹ˆ๋‹ค (ํŒŒ์ธ๋“œ์–ด์Šค ์ด์žฌ์šฉ ํšŒ๊ณ„์‚ฌ) | Walcoln SJ Rhee

    ์ด๋ ฅ์„œ์— ์“ฐ๋Š” ๊ฒฝํ—˜

    ๏ปฟ

    ... ๋” ๋ณด๊ธฐ

    ์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

    1

    ๋‹ฌ๋ ˆ Apollo GraphQL Software Engineer

    ๐ŸŽฏ ์œ ํŠœ๋ธŒ์— 100๋ฒˆ์งธ ์ฝ”๋”ฉ ํ…Œ์ŠคํŠธ ๋ฌธ์ œ ํ’€์ด ์˜์ƒ์„ ์˜ฌ๋ ธ์Šต๋‹ˆ๋‹ค!

    2

    ๊น€ํ•˜๋ฆผ ์šฐ์•„ํ•œํ˜•์ œ๋“ค ํ”„๋ก ํŠธ์—”๋“œ ๊ฐœ๋ฐœ์ž

    ํƒ€์ž… ์•ˆ์ „ํ•œ API ๋ชจํ‚น์œผ๋กœ ํ”„๋ก ํŠธ์—”๋“œ ์ƒ์‚ฐ์„ฑ ๋†’์ด๊ธฐ

    3

    Arawn Park Senior Engineer & Engineering Lead

    ๋‚˜๋Š” ์‹œ์Šคํ…œ ๋นŒ๋”์ด๋‹ค

    4

    ์„๋ฏผ ์ปค๋ฆฌ์–ด ์ฝ”์น˜

    ์ด์ง์˜ ์กฐ๊ฑด

    5

    ๊ณจ๋นˆํ•ด์ปค Chief Maker

    ์–ด์ œ ์ถœ์‹œ๋œ ๋”ฐ๋ˆ๋”ฐ๋ˆํ•œ ChatGPT Codex๋ฅผ ์‹ค์ œ ํ”„๋กœ์ ํŠธ