通过Cloud Dataflow API提交

时间:2016-08-19 17:58:35

标签: google-cloud-dataflow

我正在尝试查找API文档(不是Java SDK API,而是与数据流服务本身进行通信的HTTP API),但似乎无法找到它。我正在尝试使用不同的参数为同一个应用程序(jar文件)提交作业,并且不希望每次运行应用程序来构建图表并提交自己。 (提交环境可能不支持Java。)

问题:

1)API文档在哪里,以便我可以构建自己的请求? (有api explorer,但没有其余部分则无用。)

2)有没有办法从DataFlowPipelineRunner转储请求,以便我可以将其作为提交自己请求的基础。

2 个答案:

答案 0 :(得分:2)

您可以create your Pipeline as a template使用Dataflow API客户端库发出HTTP POST请求来执行作业。

从这里开始了解详情:Using Templates Overview

答案 1 :(得分:1)

官方不支持将作业提交到不使用Dataflow SDK的Dataflow服务,因此没有任何API文档。

如果您想尝试捕获输出以便修改并重新提交作业,请求here。 newJob变量是一个已解析的JSON对象,您可以将其输出到JSON文件,然后在以后的过程中进行解析和修改

这个功能绝对是我们有兴趣以易于使用的方式支持的功能;您可以查看几周前发出的API提案,并在此处跟踪进度:https://issues.apache.org/jira/browse/BEAM-551