오늘은 제가 애정하는 Netflix 사의 기술블로그를 읽어 보았습니다.

실시간으로 대량의 데이터를 처리하는 솔루션으로 Data Mesh에 관해 소개하는 글입니다.

배경

Netflix의 핵심 기술 중 하나는 실시간 처리 기술 (스트림 처리) 입니다. 이전에는 스트리밍 파이프라인 솔루션으로 Keystone을 사용했지만 새로운 아이디어를 시도하고 확장하게 되면서 차세대 파이프라인 솔루션으로 Data Mesh를 만들게 되었습니다.

Data Mesh

이전에는 완전 관리형 스트리밍 데이터 파이프라인 제품이었으나 더 다양한 데이터를 처리하오록 범위를 확장하여 현재는 Netflix 시스템 간 범용 데이터 이동 및 처리 플랫폼으로 정의합니다.

Archtecture

• 데이터 메시 시스템

  • 제어 플레인 (Data Mesh Controller)

    • 사용자 요청 수신, 파이프라인 배포

  • 데이터 파이프라인(Data Mesh Pipeline)

    • 들어오는 데이터를 읽고, 변환, 저장

  • Connectors : 컨트롤러와 통신하여 소스자동 생성, 업데이트

  • Sources : 중앙집중식 카탈로그에 데이터를 공유

  • Processors : Flink 작업

  • Transports :Kafka를 사용하여 통신

  • Schema : 템플릿 적용

마무리

데이터 메시를 데이터 이동 뿐만 아니라 데이터 처리, 변환에도 사용하므로 좋은 효율성을 가졌고, 복잡하지만 효과적인 시스템이라고 합니다.

• 링크: Data Mesh — A Data Movement and Processing Platform @ Netflix | by Netflix Technology Blog | Netflix TechBlog