buzzvil
데이터 엔지니어(경력 3년 이상)
정규직(풀타임)대면혼합근무데이터인프라·DevOps
AI 요약
버즈빌 데이터엔지니어링팀에서 데이터 플랫폼과 ELT/ETL 워크플로우 설계·운영을 담당할 데이터 엔지니어를 채용합니다. AWS/GCP 기반 클라우드 환경에서 Airflow로 관리되는 대규모 배치 파이프라인(약 800개 DAG)과 Kafka 기반 스트리밍 인프라를 운영하고, S3/Athena 기반 데이터 레이크(Iceberg)로 플랫폼을 통합·최적화하며, unified logging, 데이터 카탈로그, 데이터 품질(SLO) 체계 구축 등의 업무를 수행합니다.
주요 업무
데이터 플랫폼 설계·운영(데이터 생산에서 소비까지), Airflow 기반 ELT 워크플로우 개발·운영(약 800개 DAG 관리), AWS EKS 및 Kubernetes 상에서 데이터 인프라 운영, Confluent Kafka로 스트리밍 인프라 이전 및 unified logging 시스템 구축, 데이터 카탈로그(Amundsen 대체) 및 Data Discovery 개선, 데이터 품질(SLO) 제도 설계 및 운영, Redshift에서 S3/Athena 기반 데이터 레이크로 마이그레이션 및 Iceberg 도입·최적화, Terraform·Helm·Argo-CD 기반 인프라 코드화 및 배포 파이프라인 관리, 데이터 플랫폼 성능·비효율 분석 및 개선.
자격 요건
1년 이상의 AWS/GCP 등 클라우드 네이티브 환경에서의 데이터 인프라 구축 및 운영 경험. 안정적이고 확장 가능한 데이터 제품 설계·구현 능력. 높은 코드 퀄리티와 아키텍처 수준을 지향할 수 있는 역량. Airflow 등 워크플로우 스케줄러 이해 및 개발 경험. CS 전공자 또는 알고리즘, 자료구조, OS, DB 등 기초 전산 지식 보유.
기술 스택
GoPythonAirflowAthenaS3KafkaConfluent KafkaKubernetesEKSFluentbitLokiTerraformHelmArgo-CDDockerSparkIcebergRedshiftDatadogGrafanaPrometheusAWS CloudWatchGithub ActionsGitployGithubJiraConfluenceSlack