您可以安排一个BQ查询每天运行并保存到一个表中吗?

时间:2018-06-27 21:26:26

标签: google-bigquery

我有一个BQ查询,该查询会生成许多通常保存为新表的数据。是否可以安排每天进行此过程?如果可能的话,推荐的方法是什么?

1 个答案:

答案 0 :(得分:0)

Bigquery不附带它自己的作业计划程序。您将无法从bigquery网络视图中执行此操作。

您只需编写一些代码就可以做到这一点。您将必须选择一个调度程序以在您希望的时间运行bigquery查询作业。许多只是从一个非常简单的bash脚本开始,该脚本通过cron运行该作业。

另一种方法是使用apache-airflow作为调度程序,并将您的作业部署为airflow DAG,该DAG在您需要时将被执行。 Airflow甚至还有一个BigqueryOperator,可能会让您更轻松。

基本上,您将需要一些代码和Google Cloud SDK来完成此操作。

我相信这个问题可能已经得到解答here