我们可以对通过Google BigQuery运行的查询实施数据沿袭吗?

时间:2018-10-15 07:46:28

标签: google-cloud-platform google-bigquery airflow google-cloud-composer

任何人都可以帮助我提供一些有关如何在基于Google BigQuery构建的DW类型解决方案上实现数据沿袭的指示,其中使用Google Cloud存储作为源,并使用Google Cloud Composer作为工作流管理器来实现一系列SQL。

1 个答案:

答案 0 :(得分:0)

如果您的数据存储在Cloud Storage中,则可能要使用GoogleCloudStorageToBigQueryOperator之类的东西先将数据加载到Bigquery中,然后再使用BigQueryOperator来运行查询。

然后,您将看到气流Web UI inside Composer.中的不同DAG,任务等的运行方式