입수는 Datalake로!(feat. Iceberg) - 토스 블로그

  • Iceberg를 도입하고, 유지보수와 운영 관점으로 작성된 글입니다. 데이터 엔지니어시면 읽어보시면 좋을 것 같아요!


  • 기존 문제

    • 카프카 데이터 처리와 CDC 입수의 문제점

    • 테이블 작업과 파티션 운영의 문제점

    • 운영 자동화의 필요성

  • Iceberg 소개

  • 입수 자동화

  • Iceberg 유지보수 및 운영 팁

    • 자동화된 모니터링 및 알림 시스템

    • 메타데이터 관리

    • 효율적인 데이터 Write

    • Partition Pruning 문제 해결

    • 테이블 복구 및 재구축


https://toss.tech/article/datalake-iceberg

입수는 Datalake로! (feat. Iceberg)

toss.tech

입수는 Datalake로! (feat. Iceberg)

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 10월 29일 오전 7:48

 • 

저장 19조회 2,398

댓글 0