
Software Engineer II, Big Data, tvScientific
데이터개발
AI 요약
tvScientific에서 대규모 데이터 인프라를 구축하고 확장할 데이터 엔지니어를 채용합니다. AWS 환경에서 Spark와 Scala를 활용해 데이터 파이프라인을 설계 및 최적화하며, 데이터 과학 및 제품 팀과 협업합니다. 특히 일상 업무에서 AI 도구를 활용해 생산성을 높이고 이를 검증할 수 있는 능력을 요구합니다.
주요 업무
- AWS 환경에서 Spark 및 Scala를 사용한 견고한 데이터 인프라 설계 및 구현
- 대규모 성장에 맞춰 효율적으로 확장 가능한 핵심 데이터 파이프라인 고도화
- 성능 요구사항 및 비용 요소를 고려하여 최적의 엔진 및 포맷에 데이터 저장
- 교차 기능(Cross-functional) 팀과 협업하여 비즈니스 요구에 맞는 데이터 솔루션 설계
- 배치 처리 및 API를 통해 기능을 제공하는 지식 그래프(Knowledge Graphs) 설계 및 구현
- 대규모 확장을 고려한 AWS 리소스 활용 및 최적화
- 데이터 과학(Data Science) 및 제품(Product) 팀과의 긴밀한 협업
자격 요건
[필수 요건]
- 실무 데이터 엔지니어링 경험
- Spark 및 Scala 숙련도 (Spark/Scala 기반 데이터 인프라 구축 경험 선호)
- 대규모 서비스 및 관계 중심 데이터셋 기반 API 개발 경험
- 데이터 레이크, 클라우드 웨어하우스, 저장 포맷에 대한 이해
- AWS 서비스에 대한 강력한 숙련도
- 데이터 조작 및 추출을 위한 SQL 전문가 수준의 능력
- 컴퓨터공학 또는 관련 분야 학사 학위
- 일상 업무에서 AI를 활용해 속도와 품질을 향상시키는 능력
- AI 지원 작업물에 대한 비판적 평가 및 검증 능력 (테스트, 소스 확인, 데이터 검증 등)
- 높은 청렴성과 책임감 (민감 데이터 보호, AI 과의존 지양)
[우대 사항]
- 애드테크(Adtech) 분야 경험
- 데이터 품질, 메타데이터 관리, 액세스 제어 등 데이터 거버넌스 실무 경험
- Privacy-by-design 원칙 및 민감/규제 데이터 처리에 대한 깊은 이해
- Apache Iceberg, Delta 등 데이터 테이블 포맷에 대한 친숙함
- 데이터 엔지니어링 기능/조직을 처음부터 구축해 본 경험
- 데이터 과학 팀과 머신러닝 파이프라인 분야에서 긴밀히 협업한 경험
기술 스택
AWSSparkScalaSQLApache IcebergDelta
pinterest의 다른 공고
Sr. Data Scientist, Performance Marketing
데이터, 마케팅Client Account Manager II, E-Commerce
영업, 고객지원Staff Software Engineer, Ads Manager Platform
개발Sr. Software Engineer, Machine Learning, tvScientific
AI·머신러닝, 개발Staff Data Scientist, Ads Delivery
데이터, AI·머신러닝Performance Solutions Partner II
영업, 고객지원Sr. Software Engineer, Web
개발Software Engineer II, Web
개발