dbt와 함께 코드 없이 yaml과 sql만으로 데이터 파이프라인

퍼블릭 클라우드 서비스가 늘어나면서 스토리지 비용이 많이 저렴해졌습니다. 그래서 이전과 달리 raw data를 그대로 적재하는 경우가 늘었습니다. 이전에는 스토리지 비용이 비싸기 때문에 raw를 가공해서 필요한 데이터만 빠르게 쿼리할 수 있는 웨어하우스에 적재했거든요. 그러면서 dbt가 등장했습니다. dbt는 raw data 위에서 데이터 자산을 정의하는 모든 SQL 쿼리를 구성합니다. 그리고 dbt는 책임 측면에서 명확하게 ELT의 T만 수행합니다. 복잡한 코드를 최소화하고 yaml과 sql 파일 만으로 데이터를 정의하는, dbt 기초 개념과 가이드 글을 공유합니다.