입수는 Datalake로!(feat. Iceberg) - 토스 블로그 | * Iceberg를 도입하고, 유지보수와 운영 관점으로 작성된 글입니다. 데이터 엔지니어시면 읽어보시면 좋을 것 같아요!
* 기존 문제
* 카프카 데이터 처리와 CDC 입수의 문제점
* 테이블 작업과 파티션 운영의 문제점
* 운영 자동화의 필요성
* Iceberg 소개
* 입수 자동화
* Iceberg 유지보수 및 운영 팁
* 자동화된 모니터링 및 알림 시스템
* 메타데이터 관리
* 효율적인 데이터 Write
* Partition Pruning 문제 해결
* 테이블 복구 및 재구축
https://toss.tech/article/datalake-iceberg
좋아요 9 • 저장 19
