bucketplace
Senior Data Engineer
정규직(풀타임)대면혼합근무데이터인프라·DevOpsAI·머신러닝
AI 요약
오늘의집(Data Platform)에서 대규모 배치 및 스트리밍 데이터 파이프라인과 실시간 분석/서빙 인프라를 설계·운영하고 AI 기반 데이터 워크플로우 및 메타데이터·거버넌스 인프라를 구축할 시니어 데이터 엔지니어를 채용합니다. AWS·Kubernetes 기반 인프라 관리, Spark/Airflow 또는 Flink/Kafka 경험, Python 또는 JVM 언어 숙련도, 분산시스템 성능 최적화 및 팀 리딩 역량을 요구합니다.
주요 업무
AWS·Kubernetes 환경에서 Spark와 Airflow 기반 대규모 배치 파이프라인 및 OLAP/고성능 서빙 인프라 구축·운영, Flink 기반 스트리밍 처리 플랫폼 및 CQRS 패턴을 활용한 실시간 데이터 조합·서빙, 사용자 행동 실시간 분석·온라인 실험 플랫폼·이벤트 로그 명세 등 Data Product 개발 및 UI/API 추상화, AI 활용 데이터 구축 및 자동화된 지능형 워크플로우 개발(AI Foundation Engineering), OpenMetadata 등 메타데이터 관리와 FinOps 파이프라인을 통한 인프라 비용 최적화 및 운영 효율화 주도.
자격 요건
7년 이상 경력 또는 동등 수준의 실력, 중대형 프로젝트에서 기술적 방향을 독립적으로 설정하고 리딩한 경험, AWS 및 Kubernetes 환경에서의 데이터 인프라 설계·운영(네트워크/스토리지/컴퓨팅 최적화, CI/CD 등) 역량, Batch(Spark, Airflow) 또는 Streaming(Flink, Kafka) 중 하나 이상에 대한 깊이 있는 경험과 분산처리 성능 진단·최적화 능력, Python 또는 Java/Kotlin 중 최소 하나 이상 능숙, 기본적인 SQL 지식, 우수한 문서화(Written)·대인 커뮤니케이션(Verbal) 역량. 인터뷰 과정에 AI 활용 역량 확인 포함.
기술 스택
AWSKubernetesApache SparkAirflowFlinkKafkaPythonJavaKotlinSQLOpenMetadataFinOpsCI/CDOLAP