remember
Data Engineer
데이터
AI 요약
데이터 파운데이션팀에서 원천 데이터 수집부터 가공, 정교한 매핑과 마스터 데이터 관리(MDM)를 통해 신뢰할 수 있는 데이터 파이프라인을 설계·운영하는 데이터 엔지니어 채용 공고입니다. Airflow 기반 워크플로우 운영, Python/SQL로 복잡한 변환 로직 구현, 대규모 데이터 마이그레이션 설계 및 정합성 검증, 핵심 지표 시각화 및 실시간 이상 감지 체계 구축 등을 담당합니다. 경력 3~5년을 요구하며 AWS/Kubernetes/OLAP/Spark/Kafka 등 인프라·분산처리 경험과 AI 도구 활용 경험을 우대합니다.
주요 업무
내부/외부 원천 데이터 수집·가공 핵심 로직 설계 및 Airflow 등을 활용한 파이프라인 운영; 명함·프로필 관련 데이터 모델링 및 정교한 식별·매핑 로직 개발; 대규모 데이터 이관 시나리오 설계 및 정합성 검증을 통한 안정적 마이그레이션 수행; 핵심 지표 시각화 및 실시간 이상 감지 체계 구축을 통한 데이터 품질 관리 주도
자격 요건
Data Engineering 실무 경력 3년~5년, Python 및 SQL 숙련, Airflow 등 워크플로우 관리 도구를 사용한 데이터 파이프라인 설계·운영 경험, 데이터 정합성 이슈 원인 규명 및 문서화 습관
기술 스택
PythonSQLAirflowAWSKubernetesStarRocksClickHouseSparkKafkaOLAPMDM데이터 거버넌스데이터 품질/이상감지