Cron bigquery工作

Question

哪种方法可以安排BigQuery作业？

BigQuery没有提供直接的方法，我从搜索中获得的最好的是使用app引擎cron服务，但据我所知，我必须创建一个Web应用程序来使用此服务。

我的使用案例是每天或每周对点击次数和展示次数进行一些汇总，并在我们的管理门户中使用它们。

之前我使用Hive作为数据仓库，Oozie作为我们的调度程序。

有没有办法用BigQuery实现相同的逻辑？

Answer 1

不幸的是，BigQuery中没有内置的调度程序，尽管工程团队接受了请求！ link

然而，有一些有趣的选择。

1. 正如您所提到的，使用App Engine中的cron服务绝对可行，您可以编写一个简单的小型Web服务，该服务将以常规节奏调用您想要的查询。这项服务不会面向网络，因此收费应该非常小。
2. Apache Airflow是我一直在玩的服务，非常有前途;它允许您在Py​​thon中的各种云服务中定义更复杂的数据操作任务，并根据您选择的任何节奏执行它们。非常便利。
3. 常规Cron - 如果您有可用的服务器，您可以设置一个基本的cron作业，它使用'bq'命令行工具执行您想要的任何查询，并将结果保存到BQ中的表。

希望有所帮助！我很肯定还有其他选择，只是想给你一些。