🌈 전사 구성원들이 사용하는 배치 데이터 플랫폼 만들기(Airflow)

- 쏘카 기술 블로그에 전사 구성원들이 사용하는 배치 데이터 플랫폼 만들기 - Airflow Advanced 글이 올라왔습니다 :) - Airflow 운영 관련 자세한 글이라 꼭 읽어보시면 좋을 것 같습니다! 정말 자세하네요 - 저장해두고 두고 두고 보고 읽으면 좋은 글입니다 :) ✨️ 추천드리고 싶은 분 - 데이터 엔지니어 - Airflow에 대해 궁금하신 분 - 50명 규모의 데이터 조직에서 만드는 데이터 플랫폼이 궁금하신 분 🎁 목차 1. 쏘카의 Airflow 현황과 문제점 1.1. Airflow in Socar 1.2. 문제점 1.3. 해결 방안 모색 2. 개발 환경 개선 및 개발 주기 단축하기 2.1. 목적 2.2. 로컬 개발 환경 구축 2.3. 테스트 환경 구축 2.4. 사용자의 Airflow 러닝 커브를 낮추기 위한 시도들 3. 지속적으로 Airflow 안정화하기 3.1. 목적 3.2. Airflow 2 마이그레이션 3.3. 스케줄러 성능 최적화를 위한 Configuration 설정 3.4. 고가용성 설정 3.4. Kubernetes 환경 개선 3.5. Clean Up Dag 적용 4. 보안 강화하기 4.1. 목적 4.2. 보안 강화 4.3. RBAC 적용 (진행 중) 5. 모니터링 고도화하기 5.1. 목적 5.2. Dag 별 모니터링 담당자 지정 5.3. 관리자 모니터링 6. 되돌아보기 6.1 좋아진 점 6.2 발전해야 할 점 6.3 마무리