입수는 Datalake로! (feat. Iceberg)
toss.tech
입수는 Datalake로!(feat. Iceberg) - 토스 블로그
Iceberg를 도입하고, 유지보수와 운영 관점으로 작성된 글입니다. 데이터 엔지니어시면 읽어보시면 좋을 것 같아요!
기존 문제
카프카 데이터 처리와 CDC 입수의 문제점
테이블 작업과 파티션 운영의 문제점
운영 자동화의 필요성
Iceberg 소개
입수 자동화
Iceberg 유지보수 및 운영 팁
자동화된 모니터링 및 알림 시스템
메타데이터 관리
효율적인 데이터 Write
Partition Pruning 문제 해결
테이블 복구 및 재구축
https://toss.tech/article/datalake-iceberg
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 10월 29일 오전 7:48
댓글 0
함께 읽은 게시물
< 네이버는 왜 아이폰 쓰던 직원들에게 안드로이드폰을 사줬을까? >
1. 2010년경 네이버에서의 일이다. 스마트폰이 처음 나왔을 무렵이다. 아이폰이 먼저 나왔다. 이어서 다양한 안드로이드 폰이 나오며 시장 점유율이 늘기 시작했다. 더 많은 사람들이 안드로이드 폰을 쓰기 시작했다. 시장이 열리니 그에 맞는 모바일 전략과 서비스
... 더 보기🥕첫 '권고사직'에 나선 당근, 정말 위기인 걸까요?
누
... 더 보기
사용자 모으니 매출안난다고 난리
... 더 보기아기유니콘 사업을 주관한 중기부는 F사가 성인 콘텐츠 사업을 영위하고 있는 것에 대해 충분히 인지하지 못했다는 입장이다. 중기부 관계자는 “해당 F사의 사업 계획서 내용과 조금 다른 부분이 있었던 것 같다”면서 “아직 협약 체결을 하지 않은 상태이기 때문에, 관련 사안을 더욱 면밀히 파악하고 최종 협약 여부를 결정하겠다"라고 말했다.
... 더 보기
