์ฌ์ฉ์๊ฐ ๊ณต์ ํ ์ฝํ ์ธ
-

๐ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๋ง์ ํํ ์ค์๋ค - ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๋ง์ ํํ ์ค์๋ค์ ๋ํ ๋ฐํ ์์ ์๋ฃ์ ๋๋ค - ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๋ง์ ํ๋ค๋ณด๋ฉด ํ๋ฒ์ฏค ์ค์ํ๋ ๋ถ๋ถ์ด ๋ค์ ์์ฑ๋์ด ์์ด์, ์ฝ์ด๋ณด์๋ฉด ๋์์ด ๋ ๊ฒ์ด์์! - ๋ฐํ ์๋ฃ : https://jehyunlee.github.io/2021/02/24/Python-DS-62-mistakes/210222_%EC%9D%B4%EC%A0%9C%ED%98%84_mistakes.pdf - ์ค๋ฌธ ์กฐ์ฌ ๊ฒฐ๊ณผ : https://docs.google.com/spreadsheets/d/1FqtI2_Znkdf1iouwFUXOOsOfRiA_dNySZM9L3XjP5iw/edit ๐ ์ด ๊ธ์ ์ถ์ฒํ๋ ์ด์ - ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๋ง์์ ์์ฃผ ํ ์ ์๋ ์ค์๋ค์ ์์ฑํ ๊ธ์ ๋๋ค - ์ด๋ฐ ์ค์๋ฅผ ์์๋ฌ์, ๋ฏธ๋์ ๋ฐ์ํ ์ ์๋ ์ค์๋ฅผ ๋ฐฉ์งํ ์ ์์ต๋๋ค - ์ ๋ฐ์ ์ผ๋ก ๊ณต๊ฐ๋๋ ๋ด์ฉ์ด์์ต๋๋ค! ๋ํ ์ผํ ๋ด์ฉ์ ๊ฐ๋ณ์ ์ผ๋ก ๋ ์๋ฃ๋ฅผ ์ฐพ์๋ณด์ ๋ ์ข์ ๊ฒ ๊ฐ์ต๋๋ค ๐ ์ฝ์ผ๋ฉด ์ข์ ๋ถ - ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ๋ง์ ์์ฃผ ์งํํ๋ ๋ถ - ๋จธ์ ๋ฌ๋์ ๊ณต๋ถํ๊ณ ๊ณ์ ๋ถ ๐ ๋ด์ฉ ์ค๋ฅ 1. ๋ชจ๋ธ ์ ์ - ๋ชจ๋ธ ์ ์ ๋ฐฉ๋ฒ => ๋ฐ์ดํฐ์ ๋ํ ์ฌ์ ์ง์์ด ํ์ - 1) ๋ฌผ๋ฆฌ์ ์๋ฏธ - ์ : ์ง๋ฐฐ ๋ฐฉ์ ์ - 2) ์์น์ ํน์ฑ ํ์ - ์ : ์ฃผ๊ธฐ์ฑ, ์/ํํ์ฑ ํ์ - 3) ๋ฐ์ดํฐ ํน์ฑ ํ์ - ์ : ๋ถํฌ, ์ธ์๊ฐ ์๊ด์ฑ - ๋จ์ํ ๋ฐ์ดํฐ ํน์ฑ๋ง ํ์ ํด์ ๋ชจ๋ธ์ ๋ง๋๋ ๊ฒฝ์ฐ ์ค์๊ฐ ๋ง์ - Feature Engineering + ๋ชจ๋ธ ์ ์ ๊ณผ์ ์์ ๋ค์ง๊ณ ์ง 2์ฐจํญ, 3์ฐจํญ ๋ง๋ค๊ณ log ์ทจํ๊ณ ๋ฑ๋ฑ๋ฑ => ์ ๋ง์๋ ํด์์ด ์ด๋ ค์ ์ค๋ฅ 2. ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ - ์ ์ฒ๋ฆฌํ ๋ ์ด์์น๋ฅผ ์ฒ๋ฆฌํด์ค์ผ ํจ => ์ ์ฒด์ ์ธ ์ฑ๋ฅ์ ์ํฅ - 1) ๋ ผ๋ฆฌ์ ์๋ฏธ - 2) ํต๊ณ์ ๊ณ ๋ฆฝ - ์ผ๋ฐ์ ์ผ๋ก ํต๊ณ์ ์ผ๋ก ๊ณ ๋ฆฝ๋ ๋ฐ์ดํฐ ํ์ ํด์ ๋ณธ ํ, ๋ ผ๋ฆฌ์ ์ผ๋ก ํฉ๋นํ์ง ํ์ธ - ๋จธ์ ๋ฌ๋ ํ์ต ๋ฐ์ดํฐ ๋ถํ - 1) ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ๋ฐ๊พธ๋ ์ผ => ๋ชจ๋ธ์ด ๋ชฐ๋ผ์ผ ํจ - ํ์ต ๋ฐ์ดํฐ๋ฅผ ๋๋ ์ ๊ฒ์ฆ ๋ฐ์ดํฐ๋ก ๋๋๊ธฐ(K Fold) - ์ ์ฒด ๋ฐ์ดํฐ ์ค ํ์ต ๋ฐ์ดํฐ ์ผ๋ถ, ํ ์คํธ ๋ฐ์ดํฐ ์ผ๋ถ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ - 2) ์๊ณ์ด ๋ฐ์ดํฐ์ธ ๊ฒฝ์ฐ๋ ๊ณผ๊ฑฐ ๋ฐ์ดํฐ๊ฐ ํ์ต ๋ฐ์ดํฐ, ๋ฏธ๋ ๋ฐ์ดํฐ๊ฐ ํ ์คํธ ๋ฐ์ดํฐ - Nested Cross Validation์ผ๋ก ์ ์ง์ ์ผ๋ก ์งํ => ํ์ต ๋ฐ์ดํฐ๊ฐ ๊ท ๋ฑํ์ง ์์์ ๋์ผ ์กฐ๊ฑด์ด ์๋ - Blocking Time Series Split => ํ์ต ๋ฐ์ดํฐ์ ๊ฒ์ฆ ๋ฐ์ดํฐ๋ฅผ ๋์ผํ ๋ฐฉ์์ผ๋ก ์ด๋ ์ค๋ฅ 3. ํ์ต, ํ ์คํธ ๋ฐ์ดํฐ ๋ถํ - ๋ฐ์ดํฐ๋ฅผ ๊ณจ๊ณ ๋ฃจ ๋๋์ด์ผ ํจ - ์ค์ ๋ฐ์ดํฐ๊ฐ ๋ค์ด์ฌ ๋ฒ์์ ๋ฐ์ดํฐ๋ฅผ ์ถฉ๋ถํ ์์งํด ํ์ตํด์ผ ํจ ์ค๋ฅ 4. ๋ฐ์ดํฐ ๋ถ๊ท ํ - ํ์ต์ด ๋ค์ ๋ฐ์ดํฐ์ ์น์ค๋๊ณ , ์์ ๋ฐ์ดํฐ๊ฐ ์์ธก๋ ฅ์ด ์ ํ๋จ - ์ ํจ์๋ฅผ ์ ์ฐพ์์ง๋ง, R^2๊ฐ ๋ฎ์ ๊ฒฝ์ฐ => R^2๊ฐ ๋ฎ๋ค๊ณ ๋ชจ๋ธ์ด ๋์๋ค๊ณ ๋งํ๊ธด ์ด๋ ค์ ์ค๋ฅ 5. ๋ฐ์ดํฐ ์ค์ผ์ผ๋ง - ๋ฐ์ดํฐ ๋จ์์ ๋ถ์ผ์น. 1m์ 50cm์ผ ๊ฒฝ์ฐ cm๋ก ํต์ผํ๊ฑฐ๋ ์์์ ์ผ๋ก ๋ฐ์ - ์ ํํ๊ท์์๋ ์ด์ ๋ฐ์ ์ค๋ฅ6. ๋ฐ์ดํฐ ์ ์ถ(Data Leakage) - 1) ๋ ์ด๋ธ ๋ฐ์ดํฐ๊ฐ ์ ์ถ๋จ - ์์ธก ์์ ์ ์ ์ ์๋ ๋ฐ์ดํฐ๋ฅผ ํ์ต์ ์ฌ์ฉ - ์ ๋ง ๋ง์ด ๋ฐ์ํจ - 2) ํ์ต-ํ ์คํธ ๋ฐ์ดํฐ ์ค์ผ - ํ ์คํธ์ฉ ๋ฐ์ดํฐ๊ฐ ํ์ต์ ๋ฐ์๋จ - ๋ฐ์ดํฐ ํ์คํ์ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ํฌํจํ๋ ๊ฒฝ์ฐ - ์ฝ๋์์ ์ด์๋ก ๋ฐ์ํ ์๋ ์์ ๋๋จธ์ง ์ค๋ฅ๋ ์คํ๋ ๋์ํธ์ ๋์์์ต๋๋ค! : https://docs.google.com/spreadsheets/d/1FqtI2_Znkdf1iouwFUXOOsOfRiA_dNySZM9L3XjP5iw/edit
2021๋ 2์ 25์ผ ์ค์ 12:26
๐ ๋ฐ์์ ์ ์ผ ๊ฐ๋ํ์ ์ธ์(์ง์ฉ์ง ์๋ ์ํ) ๐ ์ด ์์์ ์ถ์ฒํ๋ ์ด์ - ์ ํ๋ฒ ์ง์ฉ์ง๋์ ์์ ์ด ์๊ฐํ ์ฌํ์ ์ด์๋ฅผ ์์ฌ๋ก ํ ์๋ ์ํ ์๋ฆฌ์ฆ๋ฅผ ๋ง๋ค๊ณ ์์ต๋๋ค - ๊ฐ์ ํ๊ฒฝ์ด ์ด๋ ค์ด ์ด์ผ๊ธฐ์์ ์ด๋ค ๋ฐฉ์์ผ๋ก ์ฃผ์ธ๊ณต์ด ์๋ผ๋์ง์ ๋ํด ๋์ค๋ ์์์ ๋๋ค - ๋ฌผ์ง์ ์ธ ๊ด์ ๊ณผ ์ ์์ ์ธ ๊ด์ ์ผ๋ก ๋๋๊ณ , ์ด๋ฐ ๋ถ๋ถ์ ์ค์์ฑ์ ๊นจ๋ซ๊ฒ ํด์ฃผ๋ ์์์ด๋ค์. ๋จ์ ๋ฌผ์ง์ ์ธ ๊ฒ๋ง ์๋๋ผ, ์ถ์ ๋ํ๋ ํ๋์ ๋ํด ์ด๋ป๊ฒ ์ ํ๋๊ฐ๊ฐ ์ค์ํ ๊ฒ ๊ฐ์์. - ์์์ ๋ณด๊ณ ์ฌ๋ฌ ์๊ฐ์ด ๋ค์ด์, ์๊ฐ์ด ๋์ ๋ค๋ฉด ์์ ๋ณด์๋ ๊ฒ์ ์ถ์ฒ๋๋ ค์ - ๋๊ธ์ ๋ณด๋ฉด ์ด์ด์ง๋ ์์๋ ์๋๋ฐ, ํด๋น ์์๋ ์ฌ๋ฌ ์๊ฐ์ ๊ฐ์ง๊ฒ ๋๋ ์์์ด์์
ํ์ง์์๊ฒ ์ ๊ณ ์ฃผ์ ์์์ ๋ฐ์๋ณด์ธ์.
ํ์ง์๋ค์ '์ง์ง ์ธ์ฌ์ดํธ'๊ฐ ๋ด๊ธด ์ ๊ณ ์ฃผ์ ์์์ ๋ฐ์๋ณด์ธ์.
์ปค๋ฆฌ์ด๋ฆฌ | ์ผ์๋ฌ๋ค์ ์ปค๋ฆฌ์ด SNS