데이터 웨어하우스 비용 최적화: BigQuery 사용량 모니터링 시스템 구축기 - 잡플래닛 테크블로그
잡플래닛 테크블로그
클라우드 분석환경을 쓰는 건 여러모로 편리하지만, 자칫하면 예상치 못했던 비용 때문에 문제를 겪을 수 있습니다. 요즘 많은 회사에서 쓰고 있는 BigQuery는 데이터 스캔량에 따라 과금을 하는데요. 테이블 구조를 잘 이해하지 못한 채로 이래저래 쿼리를 날리다 보면 수백 기가(때로는 테라 단위의;;;)의 스캔을 하는 사건사고(!)도 발생합니다. 실제로 저도 새로운 회사에 합류해서 처음 테이블 구조를 익히는 과정에서 엄청난 비용을 발생시킨 적이 있네요 -_-;
이렇게 '조심해서' 쿼리를 날려야 하는 환경은, 필연적으로 데이터 민주화에 영향을 미칩니다. 구성원들이 비용 때문에 불안해하며 데이터 탐색을 해야한다면, 회사에 데이터가 잘 흐를 수 없겠죠? 비슷한 고민을 하는 회사가 많을 것 같은데요. 잡플래닛에서 BigQuery 사용량 모니터링 시스템을 만들어서 이 문제를 해결한 과정에 대해서 잘 정리된 포스팅이 있어서 공유합니다.
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 7월 4일 오후 1:56
성장이 어려운 환경에서의 개발자 생활
저런 개발자 생활도 한적이 있어서 다양한 생각이 든다.
안
... 더 보기이
... 더 보기토
... 더 보기1. 모든 학습 곡선에는 같은 패턴이 있다. 어떤 분야의 초보자가 있다고 하자. 이제 몇 가지 지식을 배운다. 그럼 마치 그 분야를 완전히 이해한 것처럼 느낀다. 누구나 0점에서 80점까지는 쉽다. 문제는 80점부터다. 전문가의 영역이다.
1. 당신 자신을 믿어라. 결코 모방하지 마라. 매 순간 자기 재주를 내보여라. 평생에 걸쳐 쌓아온 누적된 힘을 보여줘라.