使用Java SDK以编程方式获取Dataflow管道作业列表

时间:2018-10-21 20:04:13

标签: google-cloud-dataflow apache-beam dataflow

我知道有一个gcloud命令用于

gcloud dataflow jobs list --help
  

NAME

     

gcloud数据流作业列表-列出特定项目中的所有作业,可以选择按区域过滤

     

说明

     

默认情况下,当前项目中列出了100个工作;可以使用gcloud --project标志和--limit标志来覆盖它。

     

使用--region标志将仅列出来自给定区域端点的作业。

但是我想通过Dataflow Java SDK以编程方式检索此列表。

我要解决的问题:

我有一个处于流传输模式的数据流管道,我想根据是否已部署此作业来相应地设置 update 选项(https://cloud.google.com/dataflow/pipelines/updating-a-pipeline)。

例如首次部署此作业时,代码不应将此update标志设置为true,因为没有现有的作业要更新(否则驱动程序会抱怨并且无法启动) ;并且代码应该能够查询正在运行的作业列表并确认该作业正在运行,并设置update选项对其进行更新(否则将抛出DataflowJobAlreadyExistsException)。

1 个答案:

答案 0 :(得分:0)