在BigQuery中安排查询

Question

我有一个BigQuery查询，可以联合两个表（每日Google Analytics导出）。我想要的是将查询保存为视图或表格，但每天自动更新最终视图/表格，因为新的Google Analytics数据已加载到BigQuery中。

感谢您的帮助

Answer 1

BigQuery本身并不提供任何调度机制。

您可以使用第三方解决方案或使用您选择的客户开发您自己的解决方案 https://cloud.google.com/bigquery/docs/reference/libraries

例如，

您可以使用App Engine Cron服务自动执行BigQuery查询 https://cloud.google.com/appengine/docs/java/config/cron https://cloud.google.com/appengine/features/#cron https://cloud.google.com/bigquery/bigquery-api-quickstart

或者，您可以使用Google Apps脚本编写带有基于时间的触发器的BigQuery查询来执行该脚本 https://developers.google.com/apps-script/advanced/bigquery https://developers.google.com/apps-script/guides/triggers/installable#time-driven_triggers

另外，检查最近推出的Google Cloud Functions（Beta）
https://cloud.google.com/functions/docs/

Answer 2

新功能：https://cloud.google.com/bigquery/docs/scheduling-queries

BigQuery现在已在Beta版中提供了计划查询功能。

您需要启用 BigQuery数据传输服务，并且“预定查询”位于BigQuery Transfer Service菜单中。

Answer 3

要添加到Mikhail的答案中，请查看此易于部署的Google工作表：

  

https://docs.google.com/spreadsheets/d/1JZkkKcT9yrcYc1g8QqJaIE6PJtoFig3G_ZNbtXuK6fw/edit

1. 复制此工作表。
2. 使用查询和目的地进行自定义。
3. 运行脚本，确保权限设置正确。
4. 安排每小时/每天/等触发。

来源：https://twitter.com/anilopez/status/958382085407883264

Answer 4

您可以将Google Cloud Composer与BiggerQuery插件结合使用：https://biggerquery.com/

1. 使用BiggerQuery安装Cloud Composer
2. 复制粘贴您的代码
3. 安排时间