์ฐ๋ฆฌ ์ ํ์ ์ํ! ๋ชจ๋จผํธ๋ฅผ ์ด๋ป๊ฒ ์ฐพ์ ์ ์์๊น?
brunch
๐ ๋ํ ์ผ์ ๊ฐ๊ฒฉ ์๋ฆฌ์ฆ! [๐ ์ฐ๋ฆฌ ์ ํ์ ์ํ! ๋ชจ๋จผํธ, ์ด๋ป๊ฒ ์ฐพ์ ์ ์์๊น?] (๐๊ฐ๋จ ์์ฝ) `์ํ ๋ชจ๋จผํธ(Aha moment)'๋ ์ ๊ท ์ ์ ๊ฐ ์ ํ์์ ์ฒ์์ผ๋ก ๊ฐ์น๋ฅผ ๋๋ ์๊ฐ์ ์๋ฏธํ๋ค. ์ ํํ๋ ๋ ๋๋ ์ ์ ์ ๋จ์์์ ๊ฐ๋ฅ์ฑ์ด ๋์ ์ ์ ๋ค์ ๊ตฌ๋ถํ๋ ์ผ๋ จ์ ํ๋๋ค์ด๋ผ๊ณ ๋ณผ ์ ์๋ค. ๊ฐ๊ฐ์ ํ์ฌ๋ค์ ๊ณ ์ ํ '์ํ ๋ชจ๋จผํธ'๋ฅผ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ, ๋์ ๋ฆฌํ ์ ์ ๋ง๋ค์ด๋ด๊ธฐ ์ํด์๋ ์ด๋ฅผ ๋ฐ๊ฒฌํ๋ ๊ฒ์ด ๋งค์ฐ ์ค์ํ๋ค. - ํ์ด์ค๋ถ์ 10์ผ ๋ด์ 7๋ช ์ ์น๊ตฌ์ ์ฐ๊ฒฐ๋๋ ๊ฒ์ ์ํ ๋ชจ๋จผํธ๋ก ์ ์ํ๋ค. - ์ฌ๋์ ๊ฒฝ์ฐ ํ ๋ด์์ 2000๊ฐ์ ๋ฉ์์ง๊ฐ ์ค๊ณ ๊ฐ์ ๋์ด๋ค. '์ํ ๋ชจ๋จผํธ'๋ฅผ ํน์ ์งํ๋ก ์ ์ํจ์ผ๋ก์จ ์ป์ ์ ์๋ ๊ฐ์ฅ ํฐ ์ด๋์ ์ ์ฒด ํ์ฌ๊ฐ ๋ช ํํ๊ณ ์๋ฏธ์๋ '๋ถ๊ทน์ฑ'์ ํฅํด ์ง์คํ ์ ์๋ค๋ ์ ์ด๋ค. ํ์ด์ค๋ถ์ ์ ๊ทธ๋ก์ค ์กฐ์ง ๋ฆฌ๋ Chamath Palihapitiya์ ๋ฐ๋ฅด๋ฉด ํ์ด '10์ผ ๋ด์ 7๋ช ์ ์น๊ตฌ' ์ธ์๋ ์๋ฌด๊ฒ๋ ์ด์ผ๊ธฐํ์ง ์์๋ค๊ณ ํ๋ค. ๐ Step1 : ๊ธฐ์ค(baseline) ๋ฆฌํ ์ ์ดํดํ๊ธฐ ์ฒซ ๋จ๊ณ๋ ํ์ฌ์ ๋ฆฌํ ์ ์ํ๋ฅผ ์ดํดํ๋ ๊ฒ์ด๋ค. ํนํ ์ ์ ๋ ์ ์ ๋ฅผ ๋ถ๋ฅํด ์ฝํธํธ๋ฅผ ๋ถ์ํ๋ฉด ๋ถํ์ํ ๋ฐ์ดํฐ๋ฅผ ์ค์ด๊ณ ์ต๊ทผ ํธ๋ ๋๋ฅผ ํ์ธํ ์ ์๋ค. (๋ถ๋ฌธ์ ์ธ๊ธ๋ ์ํ : ๋ฉ์์ง์ฑ) 0์ผ ์ดํ ๋ฆฌํ ์ ์ด ๊ฐํ๋ฅด๊ฒ ๋จ์ด์ง๊ณ , ๊ทธ ํ์๋ ์ ์ง์ ์ธ ๊ฐ์๊ฐ ๋ฐ์ํ๋ ๊ฒ์ ๋ณผ ์ ์๋ค. 30์ผ ๊ฐ์ ๊ทธ๋ํ๋ก ์๊ฐํํ๋ ๊ฒ์ด ๊ฐ์ฅ ์ข๋ค. ์ด ์์น๋ฅผ ๋์ด๋ ๊ฒ์ ๋ชฉํ๋ก ์งํํด๋ณด์. ๐ Step2 : ๊ฐ์ค ์ธ์ฐ๊ธฐ ์ด๋ค ํ๋์ด๋ ๊ธฐ๋ฅ์ด ๋ฆฌํ ์ ์ ์ํฅ์ ์ค ์ ์์์ง ๊ฐ์ค์ ์ธ์๋ณด๋ ๊ฒ์ด๋ค. ์ฒซ ๋จ๊ณ๋ก ๊ฐ์ฅ ์ถฉ์ฑ๋๊ฐ ๋์ ์ ์ ์ ์ดํํ ์ ์ ๊ฐ์ ๋ก์ฐ(raw) ๋ฐ์ดํฐ๋ฅผ ๋น๊ตํด๋ณด๋ ๊ฒ๋ ์ข๋ค. ์ถฉ์ฑ ์ ์ ๋ค์ด ํ์ง๋ง ์ดํํ ์ ์ ๋ค์ ํ์ง ์์ ํ๋์ ๋ฌด์์ธ๊ฐ? ์ ๊ท ์ ์ ๊ฐ ์ทจํ๋ 20-30๊ฐ์ ์ก์ ์ ๋ชจ๋ ๋ฆฌ์คํธ์ ํ๊ณ ๊ฐ์ฅ ๊ด๋ จ๋ ๋์ 2-3๊ฐ๋ฅผ ๋ฝ๋ ๊ฒ๋ ๋์์ด ๋ ๊ฒ์ด๋ค. ๐ Step 3: ๊ฐ์ค ๊ฒ์ฆํ๊ธฐ ๊ฐ์ค์ ๋ฐ๋ผ ์ฐ๋ฆฌ๋ ์ ์ ๋ค์ ํน์ ํ๋์ ํ๋์ง ์ํ๋์ง์ ๋ฐ๋ผ ๊ทธ๋ฃนํํ๊ณ , ํ๋ ๊ธฐ๋ฐ ์ฝํธํธ๋ฅผ ํตํด ์ด๋ฌํ ํ๋๋ค์ด ์ค์ ๋ก ๋์ ๋ฆฌํ ์ ๊ณผ ๊ด๋ จ์ด ์๋์ง๋ฅผ ํ์ธํ ์ ์๋ค. ๋ชจ๋ ํต์ฌ ํ๋์ ๊ธฐ์ค์น์ ๋น๊ตํด๋ณด๊ณ , ๊ธฐ์ค์น์ ํฐ ์ฐจ์ด๊ฐ ์๋ค๋ฉด ๋ค๋ฅธ ์งํ์ ์ง์คํ์. (ex : ์ ์ฒด ์ ์ ์ ์ฒซ๋ ์ต์ 1๋ช ์ ์น๊ตฌ๋ฅผ ์ถ๊ฐํ ์ ์ ๋ค์ ๋ฆฌํ ์ ์ฝํธํธ๋ฅผ ๋น๊ตํด๋ณด๋ฉด, ์ต์ 1๋ช ์ ์น๊ตฌ๋ฅผ ์ถ๊ฐํ ์ ์ ๋ค์ด ์ฒซ 30์ผ ๋์ ๋ ๋์ ๋ฆฌํ ์ ์ ๊ฒฝํ) ๐ Step 4: ์ ์ ํ ์ก์ ์ ๋น๋๋ฅผ ์ฐพ๊ธฐ ํน์ ์ก์ ์ด '์ํ ๋ชจ๋จผํธ'๊ฐ ๋๊ธฐ ์ํด์๋ ๋๋ค์ ์ ์ ์ ์ ํ์ (tipping point)๋ฅผ ๋ํํ ์ ์์ด์ผ ํ๋ค. ํด๋น ํ๋์ ํ ์ ์ ๋ค ์ค ๋จ์์๋ ์ ์ (Most users who performed the action, retained)์ ๋จ์์๋ ์ ์ ๋ค ์ค ํด๋น ํ๋์ ํ ์ ์ (Most users who retained, performed the action)์ ๊ต์งํฉ์ ์ํ ๋ชจ๋จผํธ๋ก ์ ์ํ ์ ์๋ค. ์ฑ์ ํน์ฑ์ด๋ ์ ํธ๋์ ๋ฐ๋ผ ๋ฆฌํ ์ ์ ์ ์ํด์ผ ํ๋ค. (์๋ฅผ ๋ค์ด ๊ฐ์ ํ 4์ฃผ ๋์ ์ต์ 4๋ฒ ๋ก๊ทธ์ธํ ์ฌ์ฉ์) ๋ค์์ผ๋ก ์กํฐ๋นํฐ ์งํ๋ฅผ ์ฐ์ถํ ๊ธฐ๊ฐ์ ์ ํด์ผ ํ๋ค. (1์ธ์ , 1์ผ, ๋๋ 1์ฃผ ๋ค์ ์ถ๊ฐ๋ ์น๊ตฌ์ ์๋ฅผ ํ์ธ) - ํด๋น ํ๋(์ต์ 8๋ช ์ ์น๊ตฌ ์ถ๊ฐ)์ ํ ์ ์ ๋ค ์ค ๋๋ถ๋ถ์ด ๋จ์์๋๊ฐ? YES - ๋๋ค์์ ์ ์ง๋ ์ ์ ๋ค์ด ํด๋น ํ๋(์ต์ 8๋ช ์ ์น๊ตฌ ์ถ๊ฐ)์ ํ๋๊ฐ? NO - ํด๋น ํ๋(์ต์ 1๋ช ์ ์น๊ตฌ ์ถ๊ฐ)์ ํ ์ ์ ๋ค ์ค ๋๋ถ๋ถ์ด ๋จ์์๋๊ฐ? NO - ๋๋ค์์ ์ ์ง๋ ์ ์ ๋ค์ด ํด๋น ํ๋(์ต์ 1๋ช ์ ์น๊ตฌ ์ถ๊ฐ)์ ํ๋๊ฐ? YES ๊ฒฐ๊ตญ, ์ฐ๋ฆฌ์ ๋ชฉํ๋ ๊ฒน์ณ์ง ์์ญ์ ์ต๋ํํ ์ ์๋ ์ต์ ์ (sweet spot)๋ฅผ ์ฐพ์ผ๋ฉด์, ๊ทธ ์ธ ์์ญ์ ์ต์ํํ๋ ๊ฒ์ด๋ค. ๋ ๊ฐ์ง ๋ฌธ์ฅ์ ๋ชจ๋ YES๋ฅผ ํ ์ ์๋ ์ง์ ๋ง์ด๋ค. ๐ Step 5: ๊ทธ๋ํ๋ก ์ ๊ฒํ๊ธฐ ๊ฒฐ๊ณผ ์ ๊ฒ์ ์ํด ํ๋๋ถ์์ ์ํ ์ฝํธํธ๋ฅผ ๋ง๋ค์ด ๋ฆฌํ ์ ์ฐจํธ๋ก ์๊ฐํํด๋ณด๋ฉด ์ข๋ค. ๐ Step 6: ์ธ๊ณผ๊ด๊ณ ํ์ ํ๊ธฐ ์ต์ ์ ๊ตฌ๋ถ์ (breakpoint)๊ณผ ํ๋์ ์ฐพ์๋ค๊ณ ํ๋๋ผ๋, ์ฐ๋ฆฌ์ ๋ถ์์ ์์ง ์์ ํ ์๊ด๊ด๊ณ๋ง์ ๋ํ๋ธ๋ค. ์ธ๊ณผ๊ด๊ณ๋ฅผ ํ์ ํ๊ธฐ ์ํด์๋ ์ ํ์ ๋ณํ๊ฐ ์ค์ ๋ก ๋ฆฌํ ์ ์ ์ด๋ค ์ํฅ์ ์ฃผ๋์ง A/B ํ ์คํธ๋ฅผ ์คํํด๋ณด์์ผ ํ๋ค. ์์์์ ์ฐ๋ฆฌ๋ ์ ์ ๋ค์ด ์ด๊ธฐ์ ์ต์ 3๋ช ์ ์น๊ตฌ๋ฅผ ์ถ๊ฐํ๋ ๊ฒ์ ๋ชฉํ๋ก ํ๊ธฐ๋ก ๊ฒฐ์ ํ๋ค. ์ด๊ฒ์ ๋ชฉํ๋ก ๋ค์๊ณผ ๊ฐ์ ํ ์คํธ๋ฅผ ํด๋ณผ ์ ์์ ๊ฒ์ด๋ค. โ ๊ฐ์ ์ด๊ธฐ์ ์น๊ตฌ๋ฅผ ์ถ๊ฐํ๋๋ก ์ ์ํ๊ธฐ โ ๊ฐ์ ํ์ ์น๊ตฌ ์ถ์ฒ์ ๋ ๋์ ๋๋๋ก ํ๊ธฐ โ ์ด๊ธฐ์ ์น๊ตฌ ์ถ๊ฐ๋ฅผ ์ ๋ํ๋ ํดํ(tooltip)์ ์ถ๊ฐํ๊ธฐ ์คํํด๋ณผ ๋งํ ์๋ง์ ํ ์คํธ๊ฐ ์๊ณ , ์ด๋ฅผ ๊ฐ๊ฐ ๋ค๋ฅธ ๋ฐฉ์์ผ๋ก ์ ์ฉํด๋ณผ ์ ์๋ค. ์ง์ง '์ํ ๋ชจ๋จผํธ'๋ฅผ ์ฐพ์๋ค๊ณ ๊ฒฐ๋ก ์ ๋ด๋ฆฌ๊ธฐ ์ ๊น์ง ์ฌ๋ฌ ๊ฐ์ ํ ์คํธ๋ฅผ ์คํํด๋ณผ ํ์๊ฐ ์๋ค. ๐ ์ธ ์ค ์์ฝ 1. ๋ฆฌํ ์ ์ ์ํฅ์ ์ค ์ ์๋ ์ถฉ์ฑ ๊ณ ๊ฐ์ ํ๋์ ๋ฆฌ์คํธ์ ํดย ๊ฐ์คย ์ธ์ฐ๊ธฐ 2. ์ด๋ค ์ก์ ์ด ์ ์ง๋ ์ ์ ์ ํด๋น ์ก์ ์ ํ ์ ์ ๊ฐ์ย ๊ต์งํฉ์ ์ต๋ํํ ์ ์๋์ง ์ฐพ์๋ณด๊ธฐ 3. ํด๋น ์ก์ ์ด ์ค์ ๋ฆฌํ ์ ์ ์ํฅ์ ์ฃผ๋์ง ๋ค์ํ๊ฒย ํ ์คํธํด๋ณด๊ธฐ (๐์ค์ํ ์ด์ ๊ฐ ๋ญ๊ฐ์?) ์ํ! ๋ผ๋ ๊ฐํ์ฌ๊น์ง๋ ๋ด๋ฑ์ง ์์๋๋ผ๋, ์ฐ๋ฆฌ๊ฐ ํน์ ์๋น์ค๋ฅผ ์ฐ๋ฉฐ ๊ณ์ ์จ์ผ๊ฒ ๋ค- ๋ผ๋ ํ๋จ์ ๋ด๋ฆฌ๋ ์๊ฐ์ด ์์ด์. ๊ฐ๊ฐ์ธ์ ๋ฐ๋ผ ๋ค๋ฅด๊ฒ ์ง๋ง, ์ฌ์ฉ ๊ฐ๋ฅํ ๊ธฐ๋ฅ์ ๋ฒ์๊ฐ ์ ํด์ ธ์๋ ์๋น์ค๋ผ๋ฉด ๋ฐ์ดํฐ๋ฅผ ํตํด ํจํดํ ํ๋๊ฒ ์ถฉ๋ถํ ๊ฐ๋ฅํ๊ธฐ๋ ํ๊ณ ์. ์ด๋ฐ ์๊ฐ๋ค์ ์๋น์ค๋ฅผ ๋ง๋๋ ์ฌ๋๋ค์ ์ ์ฅ์์ ์ผ๋ง๋ ์ ์๊ณ ์๋๋! ๋ ์ ๋ง ์ค์ํ๋ค๊ณ ์๊ฐํฉ๋๋ค. ๋ํ์ ์ธ ๊ฒ์ด ๋ฐ๋ก '์คํฌ๋ฆฐ์ท'์ธ๋ฐ์. ์๋น์ค๋ฅผ ๋ง๋๋ ์ฌ๋๊ณผ, ์๋น์ค๋ฅผ ์ฌ์ฉํ ์ฌ๋์ ์ฐจ์ด๊ฐ ๊ฐ์ฅ ์ ๋๋ฌ๋๋ ๊ณณ์ด๊ธฐ ๋๋ฌธ์ด์์. ์ ์ญ์ ๊ฐ์ ๊ฒฝํ์ ํ ์ ์๊ณ ์. ์ ๊ทธ๋์ ์ฌ์ฉ์๊ฐ ์ฐ๋ฆฌ ์ฑ์ ๊ณ์ ์ฐ๊ฒ ๋ง๋๋ ์ถ๋ฐ์ ์ ์ฑ์คํ ์ด ์์ธํ์ด์ง ์ง์ ๋๋น ์ค์น ์ ํ์จ์์๋ ํด๋ณธ์ ์ด ์์ด์. ์ด๋ค ํค์๋๋ก ๊ฒ์์ ํด์ ๋ค์ด์๋์ง, ์ด๋ค ํค์๋์ ์ง์ ๋ฐฉ๋ฒ์ ๋ฐ๋ผ ์ฑ ์ค์น๋ฅผ ๋ง์ด ํ๋์ง. ์ด๋ฅผ ํตํด ์ฌ๋๋ค์ด ์ฐ๋ฆฌ ์๋น์ค์ 1์ฐจ๋ก ๊ธฐ๋ํ๋ ๋ฐ๋ฅผ ์์ฃผ ๋๋ต์ ์ผ๋ก ์ ์ถํด๋ณผ ์ ์๊ธฐ ๋๋ฌธ์ ๋๋ค. A๋ผ๋ ๋งฅ๋ฝ์ผ๋ก ๊ฒ์์ ํ๋๋ฐ ์คํฌ๋ฆฐ์ท๊ณผ ๋์คํฌ๋ฆฝ์ ์ด B๋ฅผ ํฅํ๊ณ ์๋ค๋ฉด, ์ ํ์จ์ ๋น์ฐํ ๋ฎ์์งํ ๊ณ ์ฌ๋๋ค์ ๊ธฐ๋๋ ์ด๋ฏธ ์์ธํ์ด์ง์์ ๋๋๋ฒ๋ฆด ์ ์๊ธฐ๋ ํ๊ณ ์. ๊ฐ์ฅ ์ค์ํ ๊ฑด, ์ด์ฒ๋ผ ํ์ ๋ง์ถ๋ ์์ ์ด ํ์ํ๋ค๋ ๊ฒ ๊ฐ์์. ๋ฐ์ดํฐ๋ฅผ ๋ณด๊ธฐ ์ , ๊ฐ์ค์ ์ธ์ฐ๊ธฐ ์ ์ ๋ง์ด์ฃ . ๊ทธ๋ฐ ํ์ด ์๋ค๋ฉด ๊ฐ์ค์์๋ถํฐ ๋ฐฉํฅ์ด ์๋๊ฐ ๊ฐ๋ฅ์ฑ์ด ์๋นํ ๋๊ณ , ์ด๋ ์๋ชป๋ ๊ฒ์ฆ ๋ฐฉ๋ฒ์ผ๋ก ์ด์ด์ง ์ ์์ด์. ์ผ๋จ ์ฐ๋ฆฌ์๋น์ค์ ์ฌ์ฉ์๊ฐ '์ด์ฉ ๋ชฉ์ '์ ๋ฐ๋ฅธ ๊ต์งํฉ์ด ๋ฌด์์ธ์ง ๋จผ์ , ํจ๊ป ํ์ธํด๋ณด๋ ์์ ์ ํด๋ณด๋ฉด ์ด๋จ๊น์? ๊ทธ๋ฆฌ๊ณ ๋ณธ๋ฌธ์์์ ๊ฐ์ด ์ค์น๊น์ง ์ฑ๊ณตํ ์ฌ์ฉ์๋ค์ ๊ณ์ ๋ถ์ก์ ์ ์๋ ๋ฐฉ๋ฒ์ผ๋ก! (๐ํจ๊ป ์ฝ์ด๋ณด์ธ์!) โ ์ฐ๋ฆฌ ์๋น์ค์ ์ ์ ์ธ๊ทธ๋ฉํ ์ด์ ํ๊ธฐ : https://news.publy.co/comments/10310 โ Azar์ ๊ณต์ ํ A/B test ์ด์ ์์คํ ABzar : https://news.publy.co/comments/9208
2020๋ 10์ 25์ผ ์คํ 11:41