Airflow 3.0 주요 기능 소개

지난 2025년 4월 22일 정식으로 첫 Airflow 3.0.0이 릴리즈되었다. Airflow 블로그를 보면 지난 4년간 Airflow 유스 케이스는 단순 ETL, ELT, Reverse ETL을 넘어 MLOps(30%)와 GenAI 워크플로우(10%)로 확장되면서 엔터프라이즈용 데이터 애플리케이션 개발 프레임워크로 자리매김하고 있으며 이를 위해 다양한 기능 개선 설문을 통해 요청된 기능들을 일부 Airflow 3.0에 적용했다고 한다. 그 중 몇 개를 이야기해보자면 다음과 같다: ✅ Flask 기반 UI -> React 기반 UI ✅ DAG 버전 자동 관리 ✅ Web UI에서 Backfill 수행 지원 ✅ Task 실행 환경을 별도의 인터페이스로 분리 - Python 이외의 개발 환경 지원 - 2.x에서 개발한 DAG와 호환성 지원 - Edge Executor를 통해 리모트 디바이스에서 DAG 수행 - Multi-cloud, Hybrid-cloud 형태로 환경 운영 가능 ✅ Airflow 2.x부터 지원되던 Datasets를 Data Assets이란 기능으로 확장 ... 지난 2월 Airflow 2.10.x를 기반으로 인프런에 Airflow 강의를 론치했기에 강의 예제 코드를 시험삼아 Airflow 3.0.1로 업그레이드해보았는데 docker-compose.yml 파일을 약간만 변경하면 DAG들이 아무 문제없이 동작하는 것도 확인했다. Airflow 3.0에 아직은 버그가 많겠지만 구글 클라우드의 Cloud Composer가 Airflow 3.0으로 업그레이드하는 시점부터는 별다른 버그 걱정없이 쓸 수 있으리라 믿는다 (현재 Cloud Composer가 사용하는 Airflow 최신 버전은 2.10.5). Airflow 3.0에 관한 소개를 인프런 Airflow 강의에 추가했는데 강의 링크는 댓글 참고