[데이터 웨어하우스 비용 최적화]

클라우드 분석환경을 쓰는 건 여러모로 편리하지만, 자칫하면 예상치 못했던 비용 때문에 문제를 겪을 수 있습니다. 요즘 많은 회사에서 쓰고 있는 BigQuery는 데이터 스캔량에 따라 과금을 하는데요. 테이블 구조를 잘 이해하지 못한 채로 이래저래 쿼리를 날리다 보면 수백 기가(때로는 테라 단위의;;;)의 스캔을 하는 사건사고(!)도 발생합니다. 실제로 저도 새로운 회사에 합류해서 처음 테이블 구조를 익히는 과정에서 엄청난 비용을 발생시킨 적이 있네요 -_-;


이렇게 '조심해서' 쿼리를 날려야 하는 환경은, 필연적으로 데이터 민주화에 영향을 미칩니다. 구성원들이 비용 때문에 불안해하며 데이터 탐색을 해야한다면, 회사에 데이터가 잘 흐를 수 없겠죠? 비슷한 고민을 하는 회사가 많을 것 같은데요. 잡플래닛에서 BigQuery 사용량 모니터링 시스템을 만들어서 이 문제를 해결한 과정에 대해서 잘 정리된 포스팅이 있어서 공유합니다.

데이터 웨어하우스 비용 최적화: BigQuery 사용량 모니터링 시스템 구축기 - 잡플래닛 테크블로그

잡플래닛 테크블로그

데이터 웨어하우스 비용 최적화: BigQuery 사용량 모니터링 시스템 구축기 - 잡플래닛 테크블로그

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 7월 4일 오후 1:56

댓글 0

    함께 읽은 게시물

    성장이 어려운 환경에서의 개발자 생활

    저런 개발자 생활도 한적이 있어서 다양한 생각이 든다.

    “어이 신입, 탈출각이다” | 요즘IT

    요즘IT

    “어이 신입, 탈출각이다” | 요즘IT

    품질 높은 프로젝트는 어떻게 만들어질까? 🤔

    ... 더 보기

    “품질 높은 프로젝트는 어떻게 만들어질까?”

    F-Lab : 상위 1% 개발자들의 멘토링

    “품질 높은 프로젝트는 어떻게 만들어질까?”

    📺'뤼튼'의 이상한 광고, 만든 사람에게 직접 의도를 들어봤습니다

    ... 더 보기

    “이래도 되나?” – 뤼튼의 이상한 광고 만들기 – 제일 매거진

    magazine.cheil.com

    “이래도 되나?” – 뤼튼의 이상한 광고 만들기 – 제일 매거진

    ⟪토스가 만든 리서치툴, TNS⟫

    ... 더 보기

    토스가 특허 낸 리서치툴, TNS (Toss Navigation Score) 제작기

    toss.tech

    토스가 특허 낸 리서치툴, TNS (Toss Navigation Score) 제작기

     • 

    저장 3 • 조회 691


    < 왜 나는 그때 그 선배의 말을 듣지 않았을까? >​

    1. 모든 학습 곡선에는 같은 패턴이 있다. 어떤 분야의 초보자가 있다고 하자. 이제 몇 가지 지식을 배운다. 그럼 마치 그 분야를 완전히 이해한 것처럼 느낀다. 누구나 0점에서 80점까지는 쉽다. 문제는 80점부터다. 전문가의 영역이다.

    ... 더 보기

    < ‘나다움’을 잃는 순간, 모든 것을 잃는다 >

    1. 당신 자신을 믿어라. 결코 모방하지 마라. 매 순간 자기 재주를 내보여라. 평생에 걸쳐 쌓아온 누적된 힘을 보여줘라.

    ... 더 보기