๐ŸŒˆ ๋ฑ…ํฌ์ƒ๋Ÿฌ๋“œ์˜ ์‹คํ—˜ํ”Œ๋žซํผ ๋ถ„์„ ์ธํ”„๋ผ ์‚ดํŽด๋ณด๊ธฐ ๐ŸŽ ์ด ๊ธ€์„ ์ถ”์ฒœํ•˜๋Š” ์ด์œ  - ๋ฑ…ํฌ์ƒ๋Ÿฌ๋“œ์—์„œ AB Test ํ”Œ๋žซํผ์„ ์ง์ ‘ ๊ตฌ์ถ•ํ•œ ๊ฒฝํ—˜๋‹ด์„ ์ž‘์„ฑํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค - ๋ถ„์„ ์ธํ”„๋ผ๋ฅผ V1(์ˆ˜๋™ ์‹คํ—˜) - V2(์ž๋™ ์‹คํ—˜) ๊ณผ์ •์„ ์ž‘์„ฑํ•ด์ฃผ์…”์„œ ํ˜„์—… ์ž…์žฅ์—์„œ ํฐ ๊ณต๊ฐ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค - ์ด ๊ธ€์€ ์‹คํ—˜ ํ”Œ๋žซํผ์˜ ํฐ ๊ทธ๋ฆผ์„ ์ž‘์„ฑํ•œ ๊ธ€๋กœ, ์˜ˆ์ „์— ์ปค๋ฆฌ์–ด๋ฆฌ์— ๊ณต์œ ํ•œ ์  ์žˆ๋Š” ํ•˜์ดํผ์ปค๋„ฅํŠธ์˜ AB Test ํ”Œ๋žซํผ ๊ธ€๊ณผ ๊ฐ™์ด ๋ณด์‹œ๋ฉด ์œ ์ตํ•ฉ๋‹ˆ๋‹ค - ์˜ˆ์ „ ๊ธ€์ธ ์ง„์ •ํ•œ ์‹คํ—˜ ์กฐ์ง์˜ ํƒ„์ƒ(https://blog.banksalad.com/tech/birth-of-a-genuine-experiment-organization/) ๊ธ€๋„ ํ•จ๊ป˜ ๋ณด์‹œ๋Š”๊ฑธ ์ถ”์ฒœ๋“œ๋ ค์š” ๐Ÿ‘ ์ฝ์œผ๋ฉด ์ข‹์€ ๋ถ„ - AB Test ํ”Œ๋žซํผ์„ ์ž์ฒด ๊ตฌ์ถ•ํ•˜๋ ค๊ณ  ํ•˜๋Š” ๋ถ„ - AB Test ํ”Œ๋žซํผ์˜ ๊ตฌ์„ฑ ์š”์†Œ๊ฐ€ ๊ถ๊ธˆํ•˜์‹  ๋ถ„ - AB Test๋ฅผ ๋‹จ์ˆœํžˆ ํˆด์ด ์•„๋‹Œ ๋‚ด๋ถ€ ์š”์†Œ๊ฐ€ ๊ถ๊ธˆํ•˜์‹  ๋ถ„ - AB Test๋ฅผ ์ž์ฃผ ํ™œ์šฉํ•˜์‹œ๋Š” ๋ถ„ ๐Ÿ“‹ ๋‚ด์šฉ ์‹คํ—˜ ํ”Œ๋žซํผ์˜ ํ•ต์‹ฌ ๊ฐ€์น˜ - ์‹ ๋ขฐ์„ฑ : ์‹คํ—˜ ๊ฒฐ๊ณผ๊ฐ€ ์ž˜๋ชป๋˜๋Š” ์ผ์ด ๋ฐ˜๋ณต๋œ๋‹ค๋ฉด ๋”๋Š” ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ์‹ ๋ขฐํ•˜์ง€ ๋ชปํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. - ์œ ์—ฐ์„ฑ : ์•ฑ ์›น ์„œ๋น„์œผ์‹€ ๊ฐœ์„ , ์„œ๋ฒ„ ๋‹จ์˜ ๊ฐœ์„  ๋“ฑ ๋‹ค์–‘ํ•œ ์˜์—ญ์—์„œ ์‹คํ—˜์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ๋งŒ๋“ค์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ •๋Ÿ‰์ ์œผ๋กœ ์ธก์ •ํ•˜๊ธฐ ์œ„ํ•œ ์—ฌ๋Ÿฌ ์ข…๋ฅ˜์˜ ์‹คํ—˜ ์ง€ํ‘œ๋ฅผ ์ง€์›ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค ๋ถ„์„ ์ธํ”„๋ผ V1 - ์ˆ˜๋™์œผ๋กœ ์‹คํ—˜ ๋ถ„์„ํ•˜๊ธฐ - ์ž๋™ํ™”๋œ ์ธํ”„๋ผ ์ „์—” Jupyter Notebook์œผ๋กœ ์ง„ํ–‰ - ํšจ์œจ์„ฑ์€ ๋–จ์–ด์ง€๊ณ , ์‹คํ—˜ ๊ฐœ์ˆ˜๊ฐ€ ๋งŽ์•„์งˆ์ˆ˜๋ก ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ/๋ฐ์ดํ„ฐ ๋ถ„์„๊ฐ€์˜ ๋ฆฌ์†Œ์Šค๊ฐ€ ์ถ”๊ฐ€๋กœ ํ•„์š”ํ•˜๊ฒŒ ๋จ - ํ™•์žฅ์„ฑ ์ž์ฒด๋„ ์ฝ”๋“œ ํŒŒ์•…์„ ์ž˜ ํ•ด์•ผํ•ด์„œ ์–ด๋ ค์›€ - ์ผ๊ด€์„ฑ๋„ ์ˆ˜๋™์œผ๋กœ ์ง„ํ–‰ํ•˜๋‹ค๋ณด๋‹ˆ ์ž˜๋ชป๋œ ๊ฐ’์„ ๋„ฃ๋Š” ๊ฒฝ์šฐ๋„ ์žˆ๊ณ , ์ž˜๋ชป๋œ ๋ถ„์„ ๊ฒฐ๊ณผ๊ฐ€ ์ œ๊ณต๋  ์ˆ˜ ์žˆ์Œ ๋ถ„์„ ์ธํ”„๋ผ V2 - ์ž๋™์œผ๋กœ ์‹คํ—˜ ๋ถ„์„ํ•˜๊ธฐ - ์‹คํ—˜ ๊ฒฐ๊ณผ์™€ ๊ด€๋ จ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•ด ์‹คํ—˜ ๋ถ„์„ ๊ฒฐ๊ณผ๋ฅผ ๊ณ„์‚ฐํ•˜๊ณ  ์ ์žฌํ•˜๋Š” ํ™˜๊ฒฝ - ์ง€ํ‘œ๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” Metric Config, ์‹คํ—˜ ๋ถ„์„ ๊ฒฐ๊ณผ ๊ณ„์‚ฐ์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€๊ณตํ•˜๋Š” Data Preparation, ์‹คํ—˜ ๋ถ„์„ ๊ฒฐ๊ณผ๋ฅผ ๊ณ„์‚ฐํ•˜๋Š” Metric Calculation์œผ๋กœ ๊ตฌ์„ฑ - Metric Configuration : ์‹คํ—˜ ์ง€ํ‘œ๋ฅผ ๊ด€๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ์„ค์ •์œผ๋กœ, ์—ฌ๋Ÿฌ ์ง€ํ‘œ๋ฅผ ์ €์žฅํ•จ - Data Preparation : ๋ถ„์„์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ค€๋น„ํ•˜๋Š” ๊ณผ์ • - Experiment Information : ์‹คํ—˜์„ ์ •์˜ํ•˜๋Š” ์ •๋ณด - Trigger Event : ์‹คํ—˜์— ๋…ธ์ถœ๋œ ์ด๋ฒคํŠธ. User, Device, Session ๋“ฑ์œผ๋กœ Subject๋ฅผ ์ •์˜ํ•จ - Subject Event : ์‹คํ—˜์˜ ์ง€ํ‘œ๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ์— ํ•„์š”ํ•œ Subject์˜ ์ด๋ฒคํŠธ ์ •๋ณด - ๊ณ„์‚ฐ๋œ Experiment Analysis Result๋Š” ์‹คํ—˜ ํ”Œ๋žซํผ UI์—์„œ ๋ณด์ด๊ฒŒ ๋จ

๋ฑ…ํฌ์ƒ๋Ÿฌ๋“œ์˜ ์‹คํ—˜ํ”Œ๋žซํผ ๋ถ„์„ ์ธํ”„๋ผ ์‚ดํŽด๋ณด๊ธฐ | ๋ฑ…ํฌ์ƒ๋Ÿฌ๋“œ

blog.banksalad.com

๋ฑ…ํฌ์ƒ๋Ÿฌ๋“œ์˜ ์‹คํ—˜ํ”Œ๋žซํผ ๋ถ„์„ ์ธํ”„๋ผ ์‚ดํŽด๋ณด๊ธฐ | ๋ฑ…ํฌ์ƒ๋Ÿฌ๋“œ

๋‹ค์Œ ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•˜๋‹ค๋ฉด?

๋˜๋Š”

์ด๋ฏธ ํšŒ์›์ด์‹ ๊ฐ€์š”?

2021๋…„ 2์›” 10์ผ ์˜ค์ „ 10:17

๋Œ“๊ธ€ 0




    ๋น„์Šทํ•œ ๊ฒŒ์‹œ๋ฌผ

    ์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

    1

    ๋‹ฌ๋ ˆ Apollo GraphQL Software Engineer

    ์•ผ๊ทผ์˜ ๊ด€์„ฑ

    2

    ๋ณ€์„ฑ์œค ๋จธ์‹ ๋Ÿฌ๋‹ ์—”์ง€๋‹ˆ์–ด, Engineering Manager

    ๋ฌด์‹ ์‚ฌ์˜ ๋Œ€์šฉ๋Ÿ‰ ํŠธ๋ž˜ํ”ฝ ๊ฒฝํ—˜๊ธฐ

    3

    ๐™๐™ž๐™˜๐™๐™–๐™ง๐™™ ์ฒ˜์Œ ๋ฐฐ์›Œ๋„ ์žฌ๋ฏธ์žˆ๊ณ  ๊ฐ€์น˜์žˆ๋Š” DATA/AI ๊ต์œก์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค.

    ๊ธฐ์ดˆ ํ”„๋กœ๊ทธ๋ž˜๋ฐ์„ ์ข€ ๋” ์—ด์‹ฌํžˆ ๊ณต๋ถ€ํ•  ๊ฑธ..

    4

    ์ง„์šฉ์ง„ Product manager

    ๋””์ž์ธ ์ปดํฌ๋„ŒํŠธ ๊ธฐ๋ฐ˜ AI ํ”„๋กœํ† ํƒ€์ดํ•‘

    5

    ํ™ฉ๊ฒฝ์ฐฌ(Boaz) P.E.C CEO

    AI์™€ ์ฝ”๋”ฉํ•  ๋•Œ, ํ˜น์‹œ ๊ฒฐ๊ณผ๋งŒ ๋งํ•˜๊ณ  ๊ณ„์‹ ๊ฐ€์š”? ์–ผ๋งˆ ์ „ ํ”„๋กœํ•„

    ์ถ”์ฒœ ํ”„๋กœํ•„