无需本地访问API即可自动执行Google BigQuery查询

时间:2016-01-07 15:45:33

标签: automation google-bigquery

我正在尝试每周自动运行一个bigquery查询并将数据保存到我的计算机上。

理想情况下,这可以通过API完成,但由于代理和防火墙在工作中的问题,我无法访问计算机上的API。

我还有其他选择吗?我试过调查Google Compute Engine,但我不确定这是否会对我有所帮助

有必要从BigQuery获取数据,通过WebUI进行标准GAP报告是不够的。查询将导致每周〜2,000,000行数据

1 个答案:

答案 0 :(得分:2)

您可能知道,BigQuery本身并不提供任何调度机制 您应该使用第三方解决方案或开发自己的解决方案 例如,您可以使用App Engine Cron Service自动执行BQ查询并将结果导出到GCS https://cloud.google.com/appengine/docs/java/config/cron https://cloud.google.com/appengine/features/#cron https://cloud.google.com/bigquery/bigquery-api-quickstart

要将您的GCS结果发送到本地计算机,您仍需要某种云访问权限并使用相应的工具(请参阅下面的链接)
https://cloud.google.com/storage/docs/gsutil