GCP datastream 서비스로 database 데이터를 Bigquery에 준실시간으로 적재할 수 있게 되었습니다. Datastream은 현재 PostgreSQL, MySQL, Oracle, AlloyDB를 지원하고 있습니다. BigQuery에 데이터를 쌓는 과정에서 database 스키마가 바뀌더라도, 자동으로 스키마 변경을 감지하고 새로운 테이블과 컬럼으로 적재합니다.
Datastream을 사용하면 ELT 파이프라인을 직접 구축할 필요가 없게 됩니다. 물론 아직 릴리즈 된지 얼마되지 않은 피처라서 더 지켜봐야겠지만, 이런 자동화 서비스들이 생겨나는 것은 항상 반가운 일인 것 같습니다.