๐ŸŒˆ ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์˜ ํ”ํ•œ ์‹ค์ˆ˜๋“ค - ๋จธ์‹ ๋Ÿฌ | ์ปค๋ฆฌ์–ด๋ฆฌ

๐ŸŒˆ ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์˜ ํ”ํ•œ ์‹ค์ˆ˜๋“ค - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์˜ ํ”ํ•œ ์‹ค์ˆ˜๋“ค์— ๋Œ€ํ•œ ๋ฐœํ‘œ ์˜์ƒ ์ž๋ฃŒ์ž…๋‹ˆ๋‹ค - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์„ ํ•˜๋‹ค๋ณด๋ฉด ํ•œ๋ฒˆ์ฏค ์‹ค์ˆ˜ํ•˜๋Š” ๋ถ€๋ถ„์ด ๋‹ค์ˆ˜ ์ž‘์„ฑ๋˜์–ด ์žˆ์–ด์„œ, ์ฝ์–ด๋ณด์‹œ๋ฉด ๋„์›€์ด ๋  ๊ฒƒ์ด์—์š”! - ๋ฐœํ‘œ ์ž๋ฃŒ : https://jehyunlee.github.io/2021/02/24/Python-DS-62-mistakes/210222_%EC%9D%B4%EC%A0%9C%ED%98%84_mistakes.pdf - ์„ค๋ฌธ ์กฐ์‚ฌ ๊ฒฐ๊ณผ : https://docs.google.com/spreadsheets/d/1FqtI2_Znkdf1iouwFUXOOsOfRiA_dNySZM9L3XjP5iw/edit ๐ŸŽ ์ด ๊ธ€์„ ์ถ”์ฒœํ•˜๋Š” ์ด์œ  - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์—์„œ ์ž์ฃผ ํ•  ์ˆ˜ ์žˆ๋Š” ์‹ค์ˆ˜๋“ค์„ ์ž‘์„ฑํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค - ์ด๋Ÿฐ ์‹ค์ˆ˜๋ฅผ ์•Œ์•„๋‘ฌ์„œ, ๋ฏธ๋ž˜์— ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ์‹ค์ˆ˜๋ฅผ ๋ฐฉ์ง€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค - ์ „๋ฐ˜์ ์œผ๋กœ ๊ณต๊ฐ๋˜๋Š” ๋‚ด์šฉ์ด์˜€์Šต๋‹ˆ๋‹ค! ๋””ํ…Œ์ผํ•œ ๋‚ด์šฉ์€ ๊ฐœ๋ณ„์ ์œผ๋กœ ๋” ์ž๋ฃŒ๋ฅผ ์ฐพ์•„๋ณด์…”๋„ ์ข‹์„ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค ๐Ÿ‘ ์ฝ์œผ๋ฉด ์ข‹์€ ๋ถ„ - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ๋ง์„ ์ž์ฃผ ์ง„ํ–‰ํ•˜๋Š” ๋ถ„ - ๋จธ์‹ ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๊ณ  ๊ณ„์‹  ๋ถ„ ๐Ÿ“‹ ๋‚ด์šฉ ์˜ค๋ฅ˜ 1. ๋ชจ๋ธ ์„ ์ • - ๋ชจ๋ธ ์„ ์ • ๋ฐฉ๋ฒ• => ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์‚ฌ์ „ ์ง€์‹์ด ํ•„์š” - 1) ๋ฌผ๋ฆฌ์  ์˜๋ฏธ - ์˜ˆ : ์ง€๋ฐฐ ๋ฐฉ์ •์‹ - 2) ์ˆ˜์น˜์  ํŠน์„ฑ ํŒŒ์•… - ์˜ˆ : ์ฃผ๊ธฐ์„ฑ, ์ƒ/ํ•˜ํ•œ์„ฑ ํŒŒ์•… - 3) ๋ฐ์ดํ„ฐ ํŠน์„ฑ ํŒŒ์•… - ์˜ˆ : ๋ถ„ํฌ, ์ธ์ž๊ฐ„ ์ƒ๊ด€์„ฑ - ๋‹จ์ˆœํžˆ ๋ฐ์ดํ„ฐ ํŠน์„ฑ๋งŒ ํŒŒ์•…ํ•ด์„œ ๋ชจ๋ธ์„ ๋งŒ๋“œ๋Š” ๊ฒฝ์šฐ ์‹ค์ˆ˜๊ฐ€ ๋งŽ์Œ - Feature Engineering + ๋ชจ๋ธ ์„ ์ • ๊ณผ์ •์—์„œ ๋‹ค์งœ๊ณ ์งœ 2์ฐจํ•ญ, 3์ฐจํ•ญ ๋งŒ๋“ค๊ณ  log ์ทจํ•˜๊ณ  ๋“ฑ๋“ฑ๋“ฑ => ์ž˜ ๋งž์•„๋„ ํ•ด์„์ด ์–ด๋ ค์›€ ์˜ค๋ฅ˜ 2. ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ - ์ „์ฒ˜๋ฆฌํ•  ๋•Œ ์ด์ƒ์น˜๋ฅผ ์ฒ˜๋ฆฌํ•ด์ค˜์•ผ ํ•จ => ์ „์ฒด์ ์ธ ์„ฑ๋Šฅ์— ์˜ํ–ฅ - 1) ๋…ผ๋ฆฌ์  ์˜๋ฏธ - 2) ํ†ต๊ณ„์  ๊ณ ๋ฆฝ - ์ผ๋ฐ˜์ ์œผ๋กœ ํ†ต๊ณ„์ ์œผ๋กœ ๊ณ ๋ฆฝ๋œ ๋ฐ์ดํ„ฐ ํŒŒ์•…ํ•ด์„œ ๋ณธ ํ›„, ๋…ผ๋ฆฌ์ ์œผ๋กœ ํ•ฉ๋‹นํ•œ์ง€ ํ™•์ธ - ๋จธ์‹ ๋Ÿฌ๋‹ ํ•™์Šต ๋ฐ์ดํ„ฐ ๋ถ„ํ•  - 1) ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ”๊พธ๋Š” ์ผ => ๋ชจ๋ธ์ด ๋ชฐ๋ผ์•ผ ํ•จ - ํ•™์Šต ๋ฐ์ดํ„ฐ๋ฅผ ๋‚˜๋ˆ ์„œ ๊ฒ€์ฆ ๋ฐ์ดํ„ฐ๋กœ ๋‚˜๋ˆ„๊ธฐ(K Fold) - ์ „์ฒด ๋ฐ์ดํ„ฐ ์ค‘ ํ•™์Šต ๋ฐ์ดํ„ฐ ์ผ๋ถ€, ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์ผ๋ถ€๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ - 2) ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์ธ ๊ฒฝ์šฐ๋Š” ๊ณผ๊ฑฐ ๋ฐ์ดํ„ฐ๊ฐ€ ํ•™์Šต ๋ฐ์ดํ„ฐ, ๋ฏธ๋ž˜ ๋ฐ์ดํ„ฐ๊ฐ€ ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ - Nested Cross Validation์œผ๋กœ ์ ์ง„์ ์œผ๋กœ ์ง„ํ–‰ => ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ๊ท ๋“ฑํ•˜์ง€ ์•Š์•„์„œ ๋™์ผ ์กฐ๊ฑด์ด ์•„๋‹˜ - Blocking Time Series Split => ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ๊ฒ€์ฆ ๋ฐ์ดํ„ฐ๋ฅผ ๋™์ผํ•œ ๋ฐฉ์‹์œผ๋กœ ์ด๋™ ์˜ค๋ฅ˜ 3. ํ•™์Šต, ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ๋ถ„ํ•  - ๋ฐ์ดํ„ฐ๋ฅผ ๊ณจ๊ณ ๋ฃจ ๋‚˜๋ˆ„์–ด์•ผ ํ•จ - ์‹ค์ „ ๋ฐ์ดํ„ฐ๊ฐ€ ๋“ค์–ด์˜ฌ ๋ฒ”์œ„์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ถฉ๋ถ„ํžˆ ์ˆ˜์ง‘ํ•ด ํ•™์Šตํ•ด์•ผ ํ•จ ์˜ค๋ฅ˜ 4. ๋ฐ์ดํ„ฐ ๋ถˆ๊ท ํ˜• - ํ•™์Šต์ด ๋‹ค์ˆ˜ ๋ฐ์ดํ„ฐ์— ์น˜์ค‘๋˜๊ณ , ์†Œ์ˆ˜ ๋ฐ์ดํ„ฐ๊ฐ€ ์˜ˆ์ธก๋ ฅ์ด ์ €ํ•˜๋จ - ์› ํ•จ์ˆ˜๋ฅผ ์ž˜ ์ฐพ์•˜์ง€๋งŒ, R^2๊ฐ€ ๋‚ฎ์€ ๊ฒฝ์šฐ => R^2๊ฐ€ ๋‚ฎ๋‹ค๊ณ  ๋ชจ๋ธ์ด ๋‚˜์˜๋‹ค๊ณ  ๋งํ•˜๊ธด ์–ด๋ ค์›€ ์˜ค๋ฅ˜ 5. ๋ฐ์ดํ„ฐ ์Šค์ผ€์ผ๋ง - ๋ฐ์ดํ„ฐ ๋‹จ์œ„์˜ ๋ถˆ์ผ์น˜. 1m์™€ 50cm์ผ ๊ฒฝ์šฐ cm๋กœ ํ†ต์ผํ•˜๊ฑฐ๋‚˜ ์†Œ์ˆ˜์ ์œผ๋กœ ๋ฐ˜์˜ - ์„ ํ˜•ํšŒ๊ท€์—์„œ๋„ ์ด์Šˆ ๋ฐœ์ƒ ์˜ค๋ฅ˜6. ๋ฐ์ดํ„ฐ ์œ ์ถœ(Data Leakage) - 1) ๋ ˆ์ด๋ธ” ๋ฐ์ดํ„ฐ๊ฐ€ ์œ ์ถœ๋จ - ์˜ˆ์ธก ์‹œ์ ์— ์•Œ ์ˆ˜ ์—†๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต์— ์‚ฌ์šฉ - ์ •๋ง ๋งŽ์ด ๋ฐœ์ƒํ•จ - 2) ํ•™์Šต-ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์˜ค์—ผ - ํ…Œ์ŠคํŠธ์šฉ ๋ฐ์ดํ„ฐ๊ฐ€ ํ•™์Šต์‹œ ๋ฐ˜์˜๋จ - ๋ฐ์ดํ„ฐ ํ‘œ์ค€ํ™”์‹œ ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ํฌํ•จํ•˜๋Š” ๊ฒฝ์šฐ - ์ฝ”๋“œ์ƒ์˜ ์ด์Šˆ๋กœ ๋ฐœ์ƒํ•  ์ˆ˜๋„ ์žˆ์Œ ๋‚˜๋จธ์ง€ ์˜ค๋ฅ˜๋Š” ์Šคํ”„๋ ˆ๋“œ์‹œํŠธ์— ๋‚˜์™€์žˆ์Šต๋‹ˆ๋‹ค! : https://docs.google.com/spreadsheets/d/1FqtI2_Znkdf1iouwFUXOOsOfRiA_dNySZM9L3XjP5iw/edit

์‚ฌ์šฉ์ž๊ฐ€ ๊ณต์œ ํ•œ ์ฝ˜ํ…์ธ 

-

2021๋…„ 2์›” 25์ผ ์˜ค์ „ 12:26

๋Œ“๊ธ€ 0

ํ•จ๊ป˜ ๋ณด๋ฉด ๋” ์ข‹์€

๐ŸŒˆ ๋ฐ˜์—์„œ ์ œ์ผ ๊ฐ€๋‚œํ•œ์•  ์ธ์ƒ(์ง„์šฉ์ง„ ์—†๋Š” ์˜ํ™”) ๐ŸŽ ์ด ์˜์ƒ์„ ์ถ”์ฒœํ•˜๋Š” ์ด์œ  - ์œ ํŠœ๋ฒ„ ์ง„์šฉ์ง„๋‹˜์€ ์ž์‹ ์ด ์ƒ๊ฐํ•œ ์‚ฌํšŒ์˜ ์ด์Šˆ๋ฅผ ์†Œ์žฌ๋กœ ํ•œ ์—†๋Š” ์˜ํ™” ์‹œ๋ฆฌ์ฆˆ๋ฅผ ๋งŒ๋“ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค - ๊ฐ€์ • ํ™˜๊ฒฝ์ด ์–ด๋ ค์šด ์ด์•ผ๊ธฐ์—์„œ ์–ด๋–ค ๋ฐฉ์‹์œผ๋กœ ์ฃผ์ธ๊ณต์ด ์ž๋ผ๋Š”์ง€์— ๋Œ€ํ•ด ๋‚˜์˜ค๋Š” ์˜์ƒ์ž…๋‹ˆ๋‹ค - ๋ฌผ์งˆ์ ์ธ ๊ด€์ ๊ณผ ์ •์„œ์ ์ธ ๊ด€์ ์œผ๋กœ ๋‚˜๋ˆ„๊ณ , ์ด๋Ÿฐ ๋ถ€๋ถ„์˜ ์ค‘์š”์„ฑ์„ ๊นจ๋‹ซ๊ฒŒ ํ•ด์ฃผ๋Š” ์˜์ƒ์ด๋„ค์š”. ๋‹จ์ˆœ ๋ฌผ์งˆ์ ์ธ ๊ฒƒ๋งŒ ์•„๋‹ˆ๋ผ, ์‚ถ์„ ๋Œ€ํ•˜๋Š” ํƒœ๋„์— ๋Œ€ํ•ด ์–ด๋–ป๊ฒŒ ์ „ํ•˜๋Š”๊ฐ€๊ฐ€ ์ค‘์š”ํ•œ ๊ฒƒ ๊ฐ™์•„์š”. - ์˜์ƒ์„ ๋ณด๊ณ  ์—ฌ๋Ÿฌ ์ƒ๊ฐ์ด ๋“ค์–ด์„œ, ์‹œ๊ฐ„์ด ๋˜์‹ ๋‹ค๋ฉด ์˜์ƒ ๋ณด์‹œ๋Š” ๊ฒƒ์„ ์ถ”์ฒœ๋“œ๋ ค์š” - ๋Œ“๊ธ€์„ ๋ณด๋ฉด ์ด์–ด์ง€๋Š” ์˜์ƒ๋„ ์žˆ๋Š”๋ฐ, ํ•ด๋‹น ์˜์ƒ๋„ ์—ฌ๋Ÿฌ ์ƒ๊ฐ์„ ๊ฐ€์ง€๊ฒŒ ๋˜๋Š” ์˜์ƒ์ด์—์š”

(ENG)๋ฐ˜์—์„œ ์ œ์ผ ๊ฐ€๋‚œํ•œ์•  ์ธ์ƒ

YouTube

์ถ”์ฒœ ํ”„๋กœํ•„

ํ˜„์ง์ž์—๊ฒŒ ์—…๊ณ„ ์ฃผ์š” ์†Œ์‹์„ ๋ฐ›์•„๋ณด์„ธ์š”.

โ€Œ
โ€Œโ€Œ
โ€Œ
โ€Œ
โ€Œโ€Œ
โ€Œ
โ€Œ
โ€Œโ€Œ
โ€Œ
โ€Œ
โ€Œโ€Œ
โ€Œ
โ€Œ
โ€Œโ€Œ
โ€Œ

ํ˜„์ง์ž๋“ค์˜ '์ง„์งœ ์ธ์‚ฌ์ดํŠธ'๊ฐ€ ๋‹ด๊ธด ์—…๊ณ„ ์ฃผ์š” ์†Œ์‹์„ ๋ฐ›์•„๋ณด์„ธ์š”.

์ปค๋ฆฌ์–ด๋ฆฌ | ์ผ์ž˜๋Ÿฌ๋“ค์˜ ์ปค๋ฆฌ์–ด SNS