我有一个BQ查询,该查询会生成许多通常保存为新表的数据。是否可以安排每天进行此过程?如果可能的话,推荐的方法是什么?
答案 0 :(得分:0)
Bigquery不附带它自己的作业计划程序。您将无法从bigquery网络视图中执行此操作。
您只需编写一些代码就可以做到这一点。您将必须选择一个调度程序以在您希望的时间运行bigquery查询作业。许多只是从一个非常简单的bash脚本开始,该脚本通过cron运行该作业。
另一种方法是使用apache-airflow作为调度程序,并将您的作业部署为airflow DAG,该DAG在您需要时将被执行。 Airflow甚至还有一个BigqueryOperator,可能会让您更轻松。
基本上,您将需要一些代码和Google Cloud SDK来完成此操作。
我相信这个问题可能已经得到解答here