[NETFLIX] Psyberg로 금융 데이터 관리 간소화

오늘은 Netflix 사의 기술블로그를 읽었습니다. 금융 데이터 처리는 정확성이 중요하기 때문에 누락된 데이터가 없도록 관리합니다. Psyberg라는 프레임워크를 사용하여 문제를 해결한 방법에 대해 소개하고 있습니다. Psyberg 소개 * 증분 데이터 처리 프레임워크 * 금융 분야에서 늦게 도착한 데이터를 누락없이 정확하게 처리하는 것이 중요 과제: 늦게 도착하는 데이터를 증분 처리 * 데이터 처리 모델: 일괄 파이프라인 * 모든 데이터를 정확하게 수집해야 하므로 하루에 여러 번 처리 * 늦게 도착하는 데이터를 위한 공간을 남겨두므로 몇 시간의 간격을 두고 파이프라인 실행 * 늦게 도착하는 데이터 유형 : * Landing Timestamp: 도착시간 * Processing Timestamp: 처리시간 Psyberg 기능과 구성 * 주요 기능: 파티션에 관계없이 늦게 도착하는 데이터를 감지하고 관리함 * 빙산 메타데이터: 스냅샷과 파티션 사용하여 워크로드 관리, 업데이트 정보 관리 * 사이버스 메타데이터: 실행 추적, 워터마크 결론 정확성을 요구하는 경우 누락된 데이터를 처리하는 것이 중요 과제. 대용량의 데이터 처리를 새로운 프레임워크 Psyberg로 간단한 과정으로 정확하게 처리할 수 있음. 마무리 금융 관련 데이터를 어떻게 처리하는지 궁금했었는데 알게 되어 좋았습니다. 자세한 내용이 궁금하시면 아래 링크를 참고해주세요. * 링크: https://netflixtechblog.com/1-streamlining-membership-data-engineering-at-netflix-with-psyberg-f68830617dd1