将数据从Bigquery加载到CSV文件格式的Google存储分区

时间:2014-10-15 09:53:00

标签: google-bigquery google-cloud-storage etl

我每天都在bigquery中运行一个数据集,我需要将其导出到我的谷歌存储桶。数据集大于10MB,这意味着我无法使用app-scripts。

基本上,我想使用我的bigquery脚本自动化数据加载,该脚本将数据集导出为CSV文件到谷歌存储。

根据使用哪种程序/方法,任何人都可以指出我正确的方向。请分享您的经验。

由于

1 个答案:

答案 0 :(得分:3)

在这里,您可以找到有关如何将数据从BigQuery导出到云存储以及使用Python编写的示例的一些详细信息。

https://cloud.google.com/bigquery/exporting-data-from-bigquery

您可以实现在App Engine上运行的简单应用程序,该应用程序将包含计划每天运行一次的cron作业并执行上述教程中描述的步骤。

https://cloud.google.com/appengine/docs/python/config/cron