๐ŸŒˆ ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์˜ ํ”ํ•œ ์‹ค์ˆ˜๋“ค - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์˜ ํ”ํ•œ ์‹ค์ˆ˜๋“ค์— ๋Œ€ํ•œ ๋ฐœํ‘œ ์˜์ƒ ์ž๋ฃŒ์ž…๋‹ˆ๋‹ค - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์„ ํ•˜๋‹ค๋ณด๋ฉด ํ•œ๋ฒˆ์ฏค ์‹ค์ˆ˜ํ•˜๋Š” ๋ถ€๋ถ„์ด ๋‹ค์ˆ˜ ์ž‘์„ฑ๋˜์–ด ์žˆ์–ด์„œ, ์ฝ์–ด๋ณด์‹œ๋ฉด ๋„์›€์ด ๋  ๊ฒƒ์ด์—์š”! - ๋ฐœํ‘œ ์ž๋ฃŒ : https://jehyunlee.github.io/2021/02/24/Python-DS-62-mistakes/210222_%EC%9D%B4%EC%A0%9C%ED%98%84_mistakes.pdf - ์„ค๋ฌธ ์กฐ์‚ฌ ๊ฒฐ๊ณผ : https://docs.google.com/spreadsheets/d/1FqtI2_Znkdf1iouwFUXOOsOfRiA_dNySZM9L3XjP5iw/edit ๐ŸŽ ์ด ๊ธ€์„ ์ถ”์ฒœํ•˜๋Š” ์ด์œ  - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์—์„œ ์ž์ฃผ ํ•  ์ˆ˜ ์žˆ๋Š” ์‹ค์ˆ˜๋“ค์„ ์ž‘์„ฑํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค - ์ด๋Ÿฐ ์‹ค์ˆ˜๋ฅผ ์•Œ์•„๋‘ฌ์„œ, ๋ฏธ๋ž˜์— ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ์‹ค์ˆ˜๋ฅผ ๋ฐฉ์ง€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค - ์ „๋ฐ˜์ ์œผ๋กœ ๊ณต๊ฐ๋˜๋Š” ๋‚ด์šฉ์ด์˜€์Šต๋‹ˆ๋‹ค! ๋””ํ…Œ์ผํ•œ ๋‚ด์šฉ์€ ๊ฐœ๋ณ„์ ์œผ๋กœ ๋” ์ž๋ฃŒ๋ฅผ ์ฐพ์•„๋ณด์…”๋„ ์ข‹์„ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค ๐Ÿ‘ ์ฝ์œผ๋ฉด ์ข‹์€ ๋ถ„ - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์„ ์ž์ฃผ ์ง„ํ–‰ํ•˜๋Š” ๋ถ„ - ๋จธ์‹ ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๊ณ  ๊ณ„์‹  ๋ถ„ ๐Ÿ“‹ ๋‚ด์šฉ ์˜ค๋ฅ˜ 1. ๋ชจ๋ธ ์„ ์ • - ๋ชจ๋ธ ์„ ์ • ๋ฐฉ๋ฒ• => ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์‚ฌ์ „ ์ง€์‹์ด ํ•„์š” - 1) ๋ฌผ๋ฆฌ์  ์˜๋ฏธ - ์˜ˆ : ์ง€๋ฐฐ ๋ฐฉ์ •์‹ - 2) ์ˆ˜์น˜์  ํŠน์„ฑ ํŒŒ์•… - ์˜ˆ : ์ฃผ๊ธฐ์„ฑ, ์ƒ/ํ•˜ํ•œ์„ฑ ํŒŒ์•… - 3) ๋ฐ์ดํ„ฐ ํŠน์„ฑ ํŒŒ์•… - ์˜ˆ : ๋ถ„ํฌ, ์ธ์ž๊ฐ„ ์ƒ๊ด€์„ฑ - ๋‹จ์ˆœํžˆ ๋ฐ์ดํ„ฐ ํŠน์„ฑ๋งŒ ํŒŒ์•…ํ•ด์„œ ๋ชจ๋ธ์„ ๋งŒ๋“œ๋Š” ๊ฒฝ์šฐ ์‹ค์ˆ˜๊ฐ€ ๋งŽ์Œ - Feature Engineering + ๋ชจ๋ธ ์„ ์ • ๊ณผ์ •์—์„œ ๋‹ค์งœ๊ณ ์งœ 2์ฐจํ•ญ, 3์ฐจํ•ญ ๋งŒ๋“ค๊ณ  log ์ทจํ•˜๊ณ  ๋“ฑ๋“ฑ๋“ฑ => ์ž˜ ๋งž์•„๋„ ํ•ด์„์ด ์–ด๋ ค์›€ ์˜ค๋ฅ˜ 2. ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ - ์ „์ฒ˜๋ฆฌํ•  ๋•Œ ์ด์ƒ์น˜๋ฅผ ์ฒ˜๋ฆฌํ•ด์ค˜์•ผ ํ•จ => ์ „์ฒด์ ์ธ ์„ฑ๋Šฅ์— ์˜ํ–ฅ - 1) ๋…ผ๋ฆฌ์  ์˜๋ฏธ - 2) ํ†ต๊ณ„์  ๊ณ ๋ฆฝ - ์ผ๋ฐ˜์ ์œผ๋กœ ํ†ต๊ณ„์ ์œผ๋กœ ๊ณ ๋ฆฝ๋œ ๋ฐ์ดํ„ฐ ํŒŒ์•…ํ•ด์„œ ๋ณธ ํ›„, ๋…ผ๋ฆฌ์ ์œผ๋กœ ํ•ฉ๋‹นํ•œ์ง€ ํ™•์ธ - ๋จธ์‹ ๋Ÿฌ๋‹ ํ•™์Šต ๋ฐ์ดํ„ฐ ๋ถ„ํ•  - 1) ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ”๊พธ๋Š” ์ผ => ๋ชจ๋ธ์ด ๋ชฐ๋ผ์•ผ ํ•จ - ํ•™์Šต ๋ฐ์ดํ„ฐ๋ฅผ ๋‚˜๋ˆ ์„œ ๊ฒ€์ฆ ๋ฐ์ดํ„ฐ๋กœ ๋‚˜๋ˆ„๊ธฐ(K Fold) - ์ „์ฒด ๋ฐ์ดํ„ฐ ์ค‘ ํ•™์Šต ๋ฐ์ดํ„ฐ ์ผ๋ถ€, ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์ผ๋ถ€๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ - 2) ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์ธ ๊ฒฝ์šฐ๋Š” ๊ณผ๊ฑฐ ๋ฐ์ดํ„ฐ๊ฐ€ ํ•™์Šต ๋ฐ์ดํ„ฐ, ๋ฏธ๋ž˜ ๋ฐ์ดํ„ฐ๊ฐ€ ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ - Nested Cross Validation์œผ๋กœ ์ ์ง„์ ์œผ๋กœ ์ง„ํ–‰ => ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ๊ท ๋“ฑํ•˜์ง€ ์•Š์•„์„œ ๋™์ผ ์กฐ๊ฑด์ด ์•„๋‹˜ - Blocking Time Series Split => ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ๊ฒ€์ฆ ๋ฐ์ดํ„ฐ๋ฅผ ๋™์ผํ•œ ๋ฐฉ์‹์œผ๋กœ ์ด๋™ ์˜ค๋ฅ˜ 3. ํ•™์Šต, ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ๋ถ„ํ•  - ๋ฐ์ดํ„ฐ๋ฅผ ๊ณจ๊ณ ๋ฃจ ๋‚˜๋ˆ„์–ด์•ผ ํ•จ - ์‹ค์ „ ๋ฐ์ดํ„ฐ๊ฐ€ ๋“ค์–ด์˜ฌ ๋ฒ”์œ„์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ถฉ๋ถ„ํžˆ ์ˆ˜์ง‘ํ•ด ํ•™์Šตํ•ด์•ผ ํ•จ ์˜ค๋ฅ˜ 4. ๋ฐ์ดํ„ฐ ๋ถˆ๊ท ํ˜• - ํ•™์Šต์ด ๋‹ค์ˆ˜ ๋ฐ์ดํ„ฐ์— ์น˜์ค‘๋˜๊ณ , ์†Œ์ˆ˜ ๋ฐ์ดํ„ฐ๊ฐ€ ์˜ˆ์ธก๋ ฅ์ด ์ €ํ•˜๋จ - ์› ํ•จ์ˆ˜๋ฅผ ์ž˜ ์ฐพ์•˜์ง€๋งŒ, R^2๊ฐ€ ๋‚ฎ์€ ๊ฒฝ์šฐ => R^2๊ฐ€ ๋‚ฎ๋‹ค๊ณ  ๋ชจ๋ธ์ด ๋‚˜์˜๋‹ค๊ณ  ๋งํ•˜๊ธด ์–ด๋ ค์›€ ์˜ค๋ฅ˜ 5. ๋ฐ์ดํ„ฐ ์Šค์ผ€์ผ๋ง - ๋ฐ์ดํ„ฐ ๋‹จ์œ„์˜ ๋ถˆ์ผ์น˜. 1m์™€ 50cm์ผ ๊ฒฝ์šฐ cm๋กœ ํ†ต์ผํ•˜๊ฑฐ๋‚˜ ์†Œ์ˆ˜์ ์œผ๋กœ ๋ฐ˜์˜ - ์„ ํ˜•ํšŒ๊ท€์—์„œ๋„ ์ด์Šˆ ๋ฐœ์ƒ ์˜ค๋ฅ˜6. ๋ฐ์ดํ„ฐ ์œ ์ถœ(Data Leakage) - 1) ๋ ˆ์ด๋ธ” ๋ฐ์ดํ„ฐ๊ฐ€ ์œ ์ถœ๋จ - ์˜ˆ์ธก ์‹œ์ ์— ์•Œ ์ˆ˜ ์—†๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต์— ์‚ฌ์šฉ - ์ •๋ง ๋งŽ์ด ๋ฐœ์ƒํ•จ - 2) ํ•™์Šต-ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์˜ค์—ผ - ํ…Œ์ŠคํŠธ์šฉ ๋ฐ์ดํ„ฐ๊ฐ€ ํ•™์Šต์‹œ ๋ฐ˜์˜๋จ - ๋ฐ์ดํ„ฐ ํ‘œ์ค€ํ™”์‹œ ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ํฌํ•จํ•˜๋Š” ๊ฒฝ์šฐ - ์ฝ”๋“œ์ƒ์˜ ์ด์Šˆ๋กœ ๋ฐœ์ƒํ•  ์ˆ˜๋„ ์žˆ์Œ ๋‚˜๋จธ์ง€ ์˜ค๋ฅ˜๋Š” ์Šคํ”„๋ ˆ๋“œ์‹œํŠธ์— ๋‚˜์™€์žˆ์Šต๋‹ˆ๋‹ค! : https://docs.google.com/spreadsheets/d/1FqtI2_Znkdf1iouwFUXOOsOfRiA_dNySZM9L3XjP5iw/edit

์‚ฌ์šฉ์ž๊ฐ€ ๊ณต์œ ํ•œ ์ฝ˜ํ…์ธ 

-

์‚ฌ์šฉ์ž๊ฐ€ ๊ณต์œ ํ•œ ์ฝ˜ํ…์ธ 

๋‹ค์Œ ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•˜๋‹ค๋ฉด?

๋˜๋Š”

์ด๋ฏธ ํšŒ์›์ด์‹ ๊ฐ€์š”?

2021๋…„ 2์›” 25์ผ ์˜ค์ „ 12:26

 โ€ข 

์ €์žฅ 152 โ€ข ์กฐํšŒ 5,713

๋Œ“๊ธ€ 0

    ํ•จ๊ป˜ ์ฝ์€ ๊ฒŒ์‹œ๋ฌผ

    โ€œ์‹ค๋ฆฌ์ฝ˜๋ฐธ๋ฆฌ์˜ ํž˜์€ ๊ฐœ์ธ์˜ ์ž์œจ๊ณผ ์ฑ…์ž„์„ ๊ทน๋Œ€ํ™”ํ•œ ๊ฒƒ์— ์žˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด์„œ๋Š” ํšŒ์‚ฌ์— ๋ฌด์Šจ ์ผ์ด ์žˆ๋Š”์ง€ ๊ตฌ์„ฑ์›๋“ค์ด ์•Œ์•„์•ผ ํ•œ๋‹ค. ์†Œ์ˆ˜์˜ ๋ฆฌ๋”๊ฐ€ ๊ด€๋ฆฌยท๊ฐ๋…ํ•˜๋ฉฐ ์ด๋„๋Š” ์กฐ์ง์€ ๊ด€๋ฃŒํ™”๋  ๋ฟ, ์ˆจ๋Š” ์‚ฌ๋žŒ์ด ๋งŽ์•„์ง€๊ณ , ๋” ํฌ๊ฒŒ ์„ฑ์žฅํ•˜์ง€ ๋ชปํ•œ๋‹ค.โ€

    ... ๋” ๋ณด๊ธฐ

    โ€˜AI 100์กฐโ€™ ์„ฑ๊ณตํ•˜๋ ค๋ฉด ์ฃผ 52์‹œ๊ฐ„ ๊ทœ์ œ๋ถ€ํ„ฐ ํ’€์–ด์•ผโ€ฆ ๆฐ‘็”Ÿ์€ ๊ธฐ์—… ๊ฒฝ์Ÿ๋ ฅ์— ๋‹ฌ๋ ธ๋‹ค

    ์กฐ์„ ์ผ๋ณด

    โ€˜AI 100์กฐโ€™ ์„ฑ๊ณตํ•˜๋ ค๋ฉด ์ฃผ 52์‹œ๊ฐ„ ๊ทœ์ œ๋ถ€ํ„ฐ ํ’€์–ด์•ผโ€ฆ ๆฐ‘็”Ÿ์€ ๊ธฐ์—… ๊ฒฝ์Ÿ๋ ฅ์— ๋‹ฌ๋ ธ๋‹ค

    < ์ด์ง์„ ๊ณ ๋ฏผํ•˜๋Š” ๋‹น์‹ ์ด ๋˜์ ธ์•ผ ํ•  ๋‹จ 3๊ฐ€์ง€ ์งˆ๋ฌธ >

    1. ์ปค๋ฆฌ์–ด๋ฅผ ์„ ํƒํ•˜๋Š” ๊ธฐ์ค€์€ ๋‹ค์–‘ํ•˜๋‹ค. ์ผ๋‹จ ๋‚ด๊ฐ€ ๊ฐ€์ง„ ๊ฐ€์น˜๊ด€์ด ๊ฐ€์žฅ ํฐ ์˜ํ–ฅ์„ ์ค€๋‹ค. ๋‚จ๋“ค์˜ ์‹œ์„ ๊ณผ ํŒ๋‹จ๋„ ๋ฌด์‹œํ•  ์ˆ˜ ์—†๋‹ค. ์ด์ง ํŠธ๋ Œ๋“œ์™€ ๊ฒฝํ–ฅ๋„ ์‚ดํŽด๋ด์•ผ ํ•œ๋‹ค.

    ... ๋” ๋ณด๊ธฐ

     โ€ข 

    ๋Œ“๊ธ€ 1 โ€ข ์ €์žฅ 6 โ€ข ์กฐํšŒ 905


    AI์‹œ๋Œ€ ํ•„์š”ํ•œ ์š”๊ตฌ๋ฌธ์„œ์™€ ํ˜‘์—…๋ฐฉ๋ฒ•

    ๊ณผ

    ... ๋” ๋ณด๊ธฐ

    Confluence Mobile - WEBNORI

    wiki.webnori.com

    Confluence Mobile - WEBNORI

    < ์™œ ๋‚˜๋Š” ๊ทธ๋•Œ ๊ทธ ์„ ๋ฐฐ์˜ ๋ง์„ ๋“ฃ์ง€ ์•Š์•˜์„๊นŒ? >โ€‹

    1. ๋ชจ๋“  ํ•™์Šต ๊ณก์„ ์—๋Š” ๊ฐ™์€ ํŒจํ„ด์ด ์žˆ๋‹ค. ์–ด๋–ค ๋ถ„์•ผ์˜ ์ดˆ๋ณด์ž๊ฐ€ ์žˆ๋‹ค๊ณ  ํ•˜์ž. ์ด์ œ ๋ช‡ ๊ฐ€์ง€ ์ง€์‹์„ ๋ฐฐ์šด๋‹ค. ๊ทธ๋Ÿผ ๋งˆ์น˜ ๊ทธ ๋ถ„์•ผ๋ฅผ ์™„์ „ํžˆ ์ดํ•ดํ•œ ๊ฒƒ์ฒ˜๋Ÿผ ๋А๋‚€๋‹ค. ๋ˆ„๊ตฌ๋‚˜ 0์ ์—์„œ 80์ ๊นŒ์ง€๋Š” ์‰ฝ๋‹ค. ๋ฌธ์ œ๋Š” 80์ ๋ถ€ํ„ฐ๋‹ค. ์ „๋ฌธ๊ฐ€์˜ ์˜์—ญ์ด๋‹ค.

    ... ๋” ๋ณด๊ธฐ

    ์ง€๋‚˜๊ฐ„ ๋ฒ„์Šค

    ๏ปฟ

    ... ๋” ๋ณด๊ธฐ

     โ€ข 

    ์ €์žฅ 3 โ€ข ์กฐํšŒ 761



    ์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

    1

    ๋‹ฌ๋ ˆ Apollo GraphQL Software Engineer

    ์•ผ๊ทผ์˜ ๊ด€์„ฑ

    2

    ๋ณ€์„ฑ์œค ๋จธ์‹ ๋Ÿฌ๋‹ ์—”์ง€๋‹ˆ์–ด, Engineering Manager

    ๋ฌด์‹ ์‚ฌ์˜ ๋Œ€์šฉ๋Ÿ‰ ํŠธ๋ž˜ํ”ฝ ๊ฒฝํ—˜๊ธฐ

    3

    ๐™๐™ž๐™˜๐™๐™–๐™ง๐™™ ์ฒ˜์Œ ๋ฐฐ์›Œ๋„ ์žฌ๋ฏธ์žˆ๊ณ  ๊ฐ€์น˜์žˆ๋Š” DATA/AI ๊ต์œก์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค.

    ๊ธฐ์ดˆ ํ”„๋กœ๊ทธ๋ž˜๋ฐ์„ ์ข€ ๋” ์—ด์‹ฌํžˆ ๊ณต๋ถ€ํ•  ๊ฑธ..

    4

    ์ง„์šฉ์ง„ Product manager

    ๋””์ž์ธ ์ปดํฌ๋„ŒํŠธ ๊ธฐ๋ฐ˜ AI ํ”„๋กœํ† ํƒ€์ดํ•‘

    5

    ํ™ฉ๊ฒฝ์ฐฌ(Boaz) P.E.C CEO

    AI์™€ ์ฝ”๋”ฉํ•  ๋•Œ, ํ˜น์‹œ ๊ฒฐ๊ณผ๋งŒ ๋งํ•˜๊ณ  ๊ณ„์‹ ๊ฐ€์š”? ์–ผ๋งˆ ์ „ ํ”„๋กœํ•„