์์นด ๋ฐ์ดํฐ ๊ทธ๋ฃน - Airflow์ ํจ๊ปํ ๋ฐ์ดํฐ ํ๊ฒฝ ๊ตฌ์ถ๊ธฐ(feat. Airflow on Kubernetes)
SOCAR Tech Blog
๐ ์์นด ๋ฐ์ดํฐ ๊ทธ๋ฃน - Airflow์ ํจ๊ปํ ๋ฐ์ดํฐ ํ๊ฒฝ ๊ตฌ์ถ๊ธฐ(feat. Airflow on Kubernetes) ๐ ์ด ์๋ฃ๋ฅผ ์ถ์ฒํ๋ ์ด์ - Airflow๋ ETL ํ์ดํ๋ผ์ธ์ผ๋ก ๋ง์ด ์ฌ์ฉํ์ง๋ง, MLOps์์๋ ํ์ฉ ๊ฐ๋ฅํฉ๋๋ค! - ๋จ์ํ Airflow ๊ตฌ์ถํ๋ค๋ ๋ด์ฉ๋ณด๋ค 3๋ ์ ์คํ ๋ฆฌ๋ฅผ ๋ด์ ๊ธ์ด๊ณ , ์์์ ์ธ์์ผ๋ก Airflow๋ฅผ ์ด์ํ ๋ Composer๋ฅผ ์ฌ์ฉํ๊ณ , ์ ์ ์ธํ๋ผ๋ฅผ ์ง์ ๋ง๋๋ ๊ณผ์ ์ ๋ํด ๋ด์ ๊ธ์ ๋๋ค. - ์ต๊ทผ์ Kubernetes ์์ Airflow๋ฅผ ๊ตฌ์ถํ๋ฉด์ ๋ด์ ๋ด์ฉ๋ ์์ผ๋, ๊ด์ฌ์์ผ์ ๋ถ๋ค์ ๋ณด์๋ฉด ์ข์ ๊ฒ ๊ฐ์์ ๐ ๐ ์ฝ์ผ๋ฉด ์ข์ ๋ถ - ๋ฐ์ดํฐ ์์ง๋์ด๋ง์ ํ๊ณ ๊ณ์ ๋ถ, ๊ด์ฌ ์์ผ์ ๋ถ - Airflow๋ฅผ ์ด์ํ๊ณ ๊ณ์ ๋ถ ๐ ๋ด์ฉ - ๊ธฐ์กด ํ๊ฒฝ - Rundeck - ํ๋๊ธฐ - Google Cloud Composer - ์ด์ฐฝ๊ธฐ - Google Compute Engine + Docker Compose - ๊ณ ๋ ค ์ฌํญ - ์์ฌ ๊ฒฐ์ - ๋ฐฐํฌ ํํ - ์ด์ ํํ - ๋ฌธ์ ์ - ์ฑ์ฅ๊ธฐ - Airflow on Kubernetes - ๊ณ ๋ ค ์ฌํญ - ํด๊ฒฐ ๋ฐฉ๋ฒ - ๋ฐฐํฌ ํํ - ๋ฐฐํฌ ๋ฐฉ๋ฒ - ์ด์ ํํ - ๊ธฐํ ์ถ๊ฐ ์์ - ์ฑ์๊ธฐ๋ฅผ ํฅํ์ฌ - ๋ง๋ฌด๋ฆฌํ๋ฉฐ
2021๋ 6์ 2์ผ ์ค์ 3:47