megazone
[메가존클라우드] AI Architect (10년 이상~)
정규직(풀타임)대면근무데이터인프라·DevOps
AI 요약
메가존클라우드 AIR 부문에서 AWS EMR 기반 데이터 분석 플랫폼 고도화, Hadoop/Airflow 전환, 대용량 분산처리 운영 및 성능 튜닝을 수행할 경력 데이터 엔지니어를 채용합니다.
주요 업무
AWS EMR 기반 데이터 분석 환경 설계/배포/테스트 프로세스 최적화, 레거시 Hadoop 및 워크플로우 툴의 EMR/Airflow 전환, Airflow 버전 업그레이드 및 파이프라인 안정성 강화, 대용량 분산 처리 환경 이슈 트래킹 및 성능 튜닝, 데이터 팀 정기 기술 싱크 및 아키텍처 개선 협업
자격 요건
Hadoop, Spark, Python 기반 개발 및 운영 실무 5년 이상, Airflow/Python/PySpark/Hive/Scala Spark 상용 서비스 구축 경험, AWS EMR 및 AWS 인프라 엔지니어링 숙련, 대용량 트래픽 처리 및 데이터 레이크 파이프라인 설계 역량, 분산 컴퓨팅 병목/장애 디버깅 능력
기술 스택
AWS EMRAWSHadoopSparkPythonAirflowPySparkHiveScalaData Lake