입수는 Datalake로!(feat. Iceberg) - 토스 블로그

* Iceberg를 도입하고, 유지보수와 운영 관점으로 작성된 글입니다. 데이터 엔지니어시면 읽어보시면 좋을 것 같아요! * 기존 문제 * 카프카 데이터 처리와 CDC 입수의 문제점 * 테이블 작업과 파티션 운영의 문제점 * 운영 자동화의 필요성 * Iceberg 소개 * 입수 자동화 * Iceberg 유지보수 및 운영 팁 * 자동화된 모니터링 및 알림 시스템 * 메타데이터 관리 * 효율적인 데이터 Write * Partition Pruning 문제 해결 * 테이블 복구 및 재구축 https://toss.tech/article/datalake-iceberg