Jobs
databricks 로고

databricks

Staff Software Engineer - Ingestion

개발데이터인프라·DevOps

AI 요약

Databricks의 Lakeflow Connect 팀에서 대규모 데이터 수집(Ingestion) 인프라를 구축할 15년 이상의 숙련된 엔지니어를 채용합니다. OLTP 시스템의 데이터를 효율적으로 추출하여 Lakehouse로 통합하는 고성능 분산 시스템 설계 및 기술 리더십 발휘가 핵심입니다.

주요 업무

Lakeflow Connect 데이터 수집 엔진 설계 및 개발, 대규모 분산 클러스터의 성능 측정 및 최적화, CDC(Incremental data capture) 및 로그 파싱 기술 구현, 제품 로드맵 수립 참여 및 기술 프로젝트 리딩, 팀원 멘토링 및 스프린트 계획 주도, 프로덕션 이슈 조사 및 방지.

자격 요건

15년 이상의 대규모 분산 시스템 구축 및 지원 경력, 주요 데이터베이스 벤더(Microsoft SQL Server, Oracle, IBM 등)에서의 데이터베이스 복제/백업/트랜잭션 복구 경험, 알고리즘 및 자료구조에 대한 강력한 기초 지식 및 실무 적용 능력, 다년도 비전을 향한 점진적 결과물 도출 능력, 기술 팀 리드(TLG) 및 멘토링 경험, 복잡한 문제의 프로토타이핑 및 위험 제거 능력.

기술 스택

Distributed SystemsDatabase InternalsCDC (Incremental Data Capture)Log ParsingSQL ServerOracleIBM DB2Apache SparkDelta LakeMLflowAlgorithmsData Structures
지원하기

databricks의 다른 공고

알림

알림이 없습니다