A/B ํ ์คํธ ์ค์ด๋ผ๋ฉด ๋ถ๋งํฌํด์ผ ํ ์ฒดํฌ๋ฆฌ์คํธ : 1ํธ - HelloDigital
HelloDigital
[๐ชA/B ํ ์คํธ ์ ๋ฐ๋์ ํ์ธํด์ผ ํ 11๊ฐ์ง ์ฒดํฌ๋ฆฌ์คํธ!] (๐๊ฐ๋จ ์์ฝ) โ์ง๊ฐโ์ ๋ฐ๋ฅด๋ ๋ง์ผํ ์์ฌ๊ฒฐ์ ์ ์๋นํ ํด๋ก์ด ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค. ๊ฒฐ์ ์ ๋ด๋ฆด ๋์๋ ์ถ์ธก์ด๋ ๊ฐ์ ์ ์์กดํ๋ ๋์ , โ์คํ๋ฆฟ ํ ์คํธ(Split Test)โ๋ผ๊ณ ๋ ๋ถ๋ฆฌ๋ โA/B ํ ์คํธโ๋ฅผ ์ด์ํ๋ ํธ์ด ์ข์ต๋๋ค. A/B ํ ์คํธ๋ฅผ ์คํํ๊ธฐ ์ํด์๋ ๋์ผํ ์ฝํ ์ธ ์ ๋ ๊ฐ์ง ๋ฒ์ (๋ฒ์ A ๊ทธ๋ฆฌ๊ณ ๋ฒ์ B)์ด ์์ด์ผ ํฉ๋๋ค. ๋ค๋ง ๋ ๊ฐ์ง ๋ฒ์ ์ ์ฒ์๋ถํฐ ๋๊น์ง ์ ๋ถ ๋ค๋ฅธ ๋ฒ์ ์ด ์๋๋ผ ํ ๊ฐ์ง ์์๋ง์ด ๋ฌ๋ผ์ผ ํฉ๋๋ค. ๐ํ ์คํธํ ๋ณ์๋ ํ๋๋ง ์ ํํ์ ํจ๊ณผ๋ฅผ ์ธก์ ํ๊ธฐ ์ํด์๋ ํ๋์ โ๋ ๋ฆฝ๋ณ์โ๋ก ๋ถ๋ฆฌ์์ผ ํผํฌ๋จผ์ค๋ฅผ ์ธก์ ํด์ผ ํฉ๋๋ค. ์ฌ๋ฌ ์์๊ฐ ์์ด๋ฉด ์ ํํ ์ด๋ค ์์๊ฐ ํผํฌ๋จผ์ค์ ๋ณํ๋ฅผ ์ฃผ์๋์ง ํ์ ํ ์ ์์ต๋๋ค. ๐๋ชฉํ๋ฅผ ํ์ธํ์ ํ ์คํธ๋ง๋ค ๋ณต์์ ์งํ๋ฅผ ์ธก์ ํ๊ฒ ์ง๋ง ํ ์คํธ๋ฅผ ์ํํ๊ธฐ ์ ๊ธฐ๋ณธ์ด ๋ ์งํ๋ฅผ ๋ฐ๋์ ํ๋๋ง ๊ณ ๋ฅด๊ณ ํด๋น ์งํ์ ์ง์คํ์ธ์. ๋๋จธ์ง ๋ฒ์ ๋ ๋ง์ฐฌ๊ฐ์ง์ ๋๋ค. ํด๋น ๋ณ์๊ฐ ์ด๋ฒ ํ ์คํธ์ โ์ข ์ ๋ณ์Dependent variableโ๊ฐ ๋ ๊ฒ์ ๋๋ค. ๐Control๊ณผ Challenger๋ฅผ ๋ง๋ค์ ์ํ๋ ์คํ ๊ฒฐ๊ณผ๋ฅผ ์ป๊ธฐ ์ํ ๋ ๋ฆฝ ๋ณ์์ ์ข ์ ๋ณ์๋ฅผ ์ ํํ์ต๋๋ค. ๋ค์์ ๋ ๋ฆฝ๋ณ์์ ์ข ์๋ณ์์ ๋ํ ์ ๋ณด๋ฅผ ํ์ฉํ์ฌ Control๋ก ์ค์ ํ ๊ธฐ์กด ๋ฒ์ ์ ํ ์คํธํด๋ด ์๋ค.ย ๋ง์ฝ ๋๋ฉํ์ด์ง๋ฅผ ํ ์คํธํ๋ ์ค์ด๋ผ๋ฉด, ์ผ๋ฐ์ ์ผ๋ก Control์ ๋ณดํต ์ฌ์ฉํ๋ ๋๋ฉ ํ์ด์ง์ ๋์์ธ๊ณผ ์นดํผ๋ก ์ค์ ํฉ๋๋ค. ์ฌ๊ธฐ์๋ถํฐ ์ ๋ฐ์ดํธ ๋ฒ์ ํน์ โChallengerโ๋ผ๊ณ ๋ถ๋ฆฌ๋ย ๋ฒ์ ์ ๊ตฌ์ถํ ์๊ฐ์ ๋๋ค. โ ์น์ฌ์ดํธ, ๋๋ฉ ํ์ด์ง ํน์ ์ด๋ฉ์ผ ๋ฑ Control๊ณผ ๋น๊ตํ๊ณ ๋์กฐํ๋ฉฐ A/B ํ ์คํธํ์ธ์.ย ๐ํ๋ณธ ๊ทธ๋ฃน์ ๋ฌด์์๋ก ๋๋๋ ๋์ผํ๊ฒ ์ชผ๊ฐ์ ์๋์ ์ผ๋ก ์ ์ฌ๊ณ ๊ฐ(Audience)์ ํต์ ํ๊ธฐ ์ฌ์ด ํ ์คํธ์ ๊ฒฝ์ฐ โ ์ด๋ฉ์ผ๊ณผ ๊ฐ์ด โ ๊ฒฐ์ ์ ์ธ ๋จ์๋ฅผ ์ป๊ธฐ ์ํด์๋ ๋ ๊ฐ ์ด์์ ๋์ผ ๊ทธ๋ฃน์ ํ ์คํธํ ํ์๊ฐ ์์ต๋๋ค. ๐(๊ฐ๋ฅํ๋ค๋ฉด) ํ๋ณธ์ ํฌ๊ธฐ๋ฅผ ๊ฒฐ์ ํ์ ์นํ์ด์ง์ฒ๋ผ ๊ตฌ์ฒด์ ์ธ ํ๋ณธ์ ์๋ฅผ ์ ์ ์๋ ์ํฉ์์ A/B ํ ์คํธ๋ฅผ ์ํํ๋ค๊ณ ๊ฐ์ ํด๋ด ์๋ค. ํด๋น ๊ฒฝ์ฐ์๋ ํ ์คํธ์ ์ํ ๊ธฐ๊ฐ์ด๋ ์๊ฐ์ด ํ๋ณธ์ ํฌ๊ธฐ์ ์ํฅ์ ์ง์ ์ค ๊ฒ์ ๋๋ค. ์ด๋ด ๋๋ ์ฐ์ ์๋นํ ์์ ๋ทฐ๋ฅผ ์ป์ ์ ์์ ์ ๋๋ก ํ ์คํธ๋ฅผ ์ค๋ ์คํํด์ผ ํฉ๋๋ค. ๊ฒฐ๊ณผ๊ฐ ์ถฉ๋ถ์น ์๋ค๋ฉด ๊ฐ ๋ฒ์ ์ฌ์ด์์ ์ ์๋ฏธํ ์ฐจ์ด๊ฐ ๋ฐ์ํ๋์ง ํ์ธํ๊ธฐ ํ๋ค๊ธฐ ๋๋ฌธ์ ๋๋ค. ๐ํ์๋ก ํ๋ ๊ฒฐ๊ณผ๊ฐ ์ด๋ป๊ฒ ์ค์ํ์ง ๊ฒฐ์ ํ์ ์์ ๋จ๊ณ์์ ๋ชฉํ๊ฐ ๋๋ ์งํ(Goal metric)๋ฅผ ๊ณ ๋ฅด์ จ๋์? ๋ค๋ฅธ ๋ฒ์ ์ โํ๊ธฐโ๋ฅผ ์ ๋นํํ ๋งํผ ์ ์๋ฏธํ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์ฃผ๋์ง ๊ณ ๋ฏผํ ์๊ฐ์ ๋๋ค. ํต๊ณ์ ์ ์์ฑ(Statistical significance)์ ํจ์ ์ ๋น ์ง๊ธฐ ์ฌ์ด A/B ํ ์คํธ์ ๊ณผ์ ์์ ๊ต์ฅํ ์ค์ํฉ๋๋ค. ๐์ด๋ค ์บ ํ์ธ์ด๋๋ผ๋ ํ ๋ฒ์ ํ๋์ ํ ์คํธ๋ง ์ด์ํ์ ํ๋์ ์บ ํ์ธ์ ์ํด ํ ๊ฐ์ง ์ด์์ ํ ์คํธํ๋ฉด โ ์ ํํ๊ฒ ๋์ผํ ์์ (๊ด๊ณ ์ ๋ชฉ, ์ค๋ช , ์ด๋ฏธ์ง, ๋ก๊ณ ๋ฑ)์ด ์๋์ง๋ผ๋ โ ์คํ์ ๊ฒฐ๊ณผ๋ฅผ ๋ณต์กํ๊ฒ ๋ง๋ค ์ ์์ต๋๋ค.ย (๐์ค์ํ ์ด์ ๊ฐ ๋ญ๊ฐ์?) A/Bํ ์คํธ๋ฅผ ์งํํ๋ฉฐ ๊ฐ์ฅ ๋ง์ด ํ๋ ์ค์ ์ค ๋ ๊ฐ๊ฐ โํ ๋ฒ์ ํ๋์ ํ ์คํธ๋ง ์ด์ํ์โ์ โํ๋์ ๋ณ์๋ง ์ ํํ์ ์ ๋๋คโ ์ด ๋์ A/Bํ ์คํธ์ ์์๊ณผ ๋๊ณผ ์ฐ๊ด๋์ด ์๊ธฐ์ ๋ ์ค์ํ ๋ด์ฉ ์ด๊ธฐ๋ ํ์ฃ . ์์ํ๊ธฐ ์ , ์ ๋ด์ฉ์ ํ ๋ฒ์ฉ ์ดํด๋ณด๋ ๊ฒ๋ง์ผ๋ก๋ ๋ณ์ ํต์ ๋ ๋ฌผ๋ก ์ค์๋ฅผ ์ต์ํ ํ๋๋ฐ ์์ด ํฐ ๋์์ด ๋ ๊ฒ ๊ฐ์ ๊ณต์ ํฉ๋๋ค :) (๐คํจ๊ป ๋ณด์ธ์!) ํจ๊ณผ์ ์ธ ์คํ ์ํ์ ์ํ 7๊ฐ์ง ์ต๊ด : https://news.publy.co/comments/6267
2020๋ 6์ 8์ผ ์คํ 1:32