如何重新启动已取消的Cloud Dataflow流式传输作业?

时间:2018-01-03 18:03:15

标签: google-cloud-platform google-cloud-dataflow

我已经为BigQuery数据流创建了标准的PubSub。但是,为了确保我不会在离线时运行巨额账单,我取消了数据流。从GCP控制台看,似乎没有一个选项可以重新启动它 - 这可能是通过控制台,还是通过shell(如果是,如何)?

2 个答案:

答案 0 :(得分:3)

Cloud Dataflow当前未提供重新启动已停止或取消的Dataflow作业的机制。

然而,对于这个Pub / Sub - > BigQuery流程,一种方法是使用Google-provided Pub/Sub to BigQuery template;这些模板使用Cloud Dataflow为常见数据移动模式提供无代码解决方案。

您可以execute a streaming Dataflow job using this template, via the REST API使用唯一的作业名称来确保在任何时间点只运行此Dataflow作业的一个实例。如果作业被取消,您可以通过再次运行相同的命令(重新)启动此流数据流作业。

答案 1 :(得分:0)

您可以通过克隆立即重新启动作业。 您应该会在顶部看到一个选项克隆。