오늘은 Netflix 사의 기술블로그를 읽었습니다.

금융 데이터 처리는 정확성이 중요하기 때문에 누락된 데이터가 없도록 관리합니다.

Psyberg라는 프레임워크를 사용하여 문제를 해결한 방법에 대해 소개하고 있습니다.

Psyberg 소개

• 증분 데이터 처리 프레임워크

• 금융 분야에서 늦게 도착한 데이터를 누락없이 정확하게 처리하는 것이 중요

  
  

과제: 늦게 도착하는 데이터를 증분 처리

• 데이터 처리 모델: 일괄 파이프라인

• 모든 데이터를 정확하게 수집해야 하므로 하루에 여러 번 처리

• 늦게 도착하는 데이터를 위한 공간을 남겨두므로 몇 시간의 간격을 두고 파이프라인 실행

• 늦게 도착하는 데이터 유형 :

  • Landing Timestamp: 도착시간

  • Processing Timestamp: 처리시간

    
    

Psyberg 기능과 구성

• 주요 기능: 파티션에 관계없이 늦게 도착하는 데이터를 감지하고 관리함

• 빙산 메타데이터: 스냅샷과 파티션 사용하여 워크로드 관리, 업데이트 정보 관리

• 사이버스 메타데이터: 실행 추적, 워터마크

  
  

결론

정확성을 요구하는 경우 누락된 데이터를 처리하는 것이 중요 과제. 대용량의 데이터 처리를 새로운 프레임워크 Psyberg로 간단한 과정으로 정확하게 처리할 수 있음.

마무리

금융 관련 데이터를 어떻게 처리하는지 궁금했었는데 알게 되어 좋았습니다. 자세한 내용이 궁금하시면 아래 링크를 참고해주세요.

• 링크: https://netflixtechblog.com/1-streamlining-membership-data-engineering-at-netflix-with-psyberg-f68830617dd1