MySQL 데이터를 코드 한 줄 없이 BigQuery로 옮기는 기능 출시

Dataflow의 템플릿을 통해 손쉽게 MySQL 데이터를 빅쿼리로 옮기는 기능이 추가되었습니다. 특정 주기마다 요청한 쿼리로 읽은 데이터를 특정 경로에 쓰는 작업을 할 수 있네요. 지원하는 파라미터 중에 temp bucket이 있는걸보니 내부적으로는 spark job과 유사한 작업이 임시 저장소에 쓰고 이걸 빅쿼리로 옮기나 봅니다. 배치가 아닌 지속적인 변경이 필요하다면 Datastream이나 Debezium 과 Pub/Sub을 이용하는 Dataflow template을 사용할 수 있다고 하네요. (이건 이번에 나온 기능은 아닌듯) 테이블이 엄청 커서 배치 작업이 무리가 있거나 준실시간 분석 요구사항이 있다면, 고려해볼 수 있겠습니다. —- Required parameters Schedule: The recurring schedule for your pipeline (you can schedule hourly, daily, or weekly jobs, or define your own schedule with unix cron) Source: The URL connection string to connect to the Jdbc source. Target: BigQuery output table Temp Bucket: GCS bucket for staging files Optional parameters Jdbc source SQL query, if you want to replicate a portion of the database. Username & password, if your database requires authentication. Dataflow-related parameters, including options to modify autoscaling, number of workers, and other configurations related to the worker environment. If you require an SSL certificate and you have truststore and certificate files, you will use the “extra files to stage” parameter to pass in their respective locations. https://cloud.google.com/blog/products/data-analytics/unlock-insights-faster-from-your-mysql-data-in-bigquery?hl=en