通过Python API运行多个BigQuery作业

时间:2016-07-26 19:40:09

标签: python google-bigquery google-cloud-platform

我一直在Google Cloud Platform's Python API library工作。我已经在开箱即用的这些API样本上取得了很大的成功,但是我想通过将我需要运行的三个查询(以及将要创建的后续表)组合到一个单元中来进一步简化它文件。虽然文档提到能够异步运行多个作业,但我一直无法找到实现这一目标的最佳方法。

提前致谢!

1 个答案:

答案 0 :(得分:0)

异步运行多个作业的想法是创建/准备尽可能多的作业,并使用jobs.insert API启动它们(重要的是你应该收集所有相应的工作或设置你自己 - 他们只需要独一无二)。这些API会立即返回,因此您可以在一个循环中“非常快速地”将它们全部打开

同时,您需要反复检查这些作业的状态(循环),一旦完成作业,您可以根据需要对结果进行处理

您可以在Running asynchronous queries

中查看详细信息