[데이터 웨어하우스 비용 최적화]

클라우드 분석환경을 쓰는 건 여러모로 편리하지만, 자칫하면 예상치 못했던 비용 때문에 문제를 겪을 수 있습니다. 요즘 많은 회사에서 쓰고 있는 BigQuery는 데이터 스캔량에 따라 과금을 하는데요. 테이블 구조를 잘 이해하지 못한 채로 이래저래 쿼리를 날리다 보면 수백 기가(때로는 테라 단위의;;;)의 스캔을 하는 사건사고(!)도 발생합니다. 실제로 저도 새로운 회사에 합류해서 처음 테이블 구조를 익히는 과정에서 엄청난 비용을 발생시킨 적이 있네요 -_-;

이렇게 '조심해서' 쿼리를 날려야 하는 환경은, 필연적으로 데이터 민주화에 영향을 미칩니다. 구성원들이 비용 때문에 불안해하며 데이터 탐색을 해야한다면, 회사에 데이터가 잘 흐를 수 없겠죠? 비슷한 고민을 하는 회사가 많을 것 같은데요. 잡플래닛에서 BigQuery 사용량 모니터링 시스템을 만들어서 이 문제를 해결한 과정에 대해서 잘 정리된 포스팅이 있어서 공유합니다.