🌈 쏘카 데이터 그룹 - Airflow와 함께한 데이터 환경 구축기(feat. Airflow on Kubernetes) 🎁 이 자료를 추천하는 이유 - Airflow는 ETL 파이프라인으로 많이 사용하지만, MLOps에서도 활용 가능합니다! - 단순히 Airflow 구축했다는 내용보다 3년의 스토리를 담은 글이고, 소수의 인원으로 Airflow를 운영할 땐 Composer를 사용하고, 점점 인프라를 직접 만드는 과정에 대해 담은 글입니다. - 최근에 Kubernetes 위에 Airflow를 구축하면서 담은 내용도 있으니, 관심있으신 분들은 보시면 좋을 것 같아요 🙂 👍 읽으면 좋은 분 - 데이터 엔지니어링을 하고 계신 분, 관심 있으신 분 - Airflow를 운영하고 계신 분 📋 내용 - 기존 환경 - Rundeck - 태동기 - Google Cloud Composer - 초창기 - Google Compute Engine + Docker Compose - 고려 사항 - 의사 결정 - 배포 형태 - 운영 형태 - 문제점 - 성장기 - Airflow on Kubernetes - 고려 사항 - 해결 방법 - 배포 형태 - 배포 방법 - 운영 형태 - 기타 추가 작업 - 성숙기를 향하여 - 마무리하며