我每天都在bigquery中运行一个数据集,我需要将其导出到我的谷歌存储桶。数据集大于10MB,这意味着我无法使用app-scripts。
基本上,我想使用我的bigquery脚本自动化数据加载,该脚本将数据集导出为CSV文件到谷歌存储。
根据使用哪种程序/方法,任何人都可以指出我正确的方向。请分享您的经验。
由于
答案 0 :(得分:3)
在这里,您可以找到有关如何将数据从BigQuery导出到云存储以及使用Python编写的示例的一些详细信息。
https://cloud.google.com/bigquery/exporting-data-from-bigquery
您可以实现在App Engine上运行的简单应用程序,该应用程序将包含计划每天运行一次的cron作业并执行上述教程中描述的步骤。