如何使用Beam 2.0创建Dataflow模板管道?

时间:2017-06-21 16:57:13

标签: templates google-cloud-dataflow apache-beam

Dataflow 1.9曾经有TemplatingDataflowPipelineRunner,但是梁没有。使用Beam 2.0 Java SDK创建Dataflow模板管道的步骤是什么?

1 个答案:

答案 0 :(得分:2)

从Beam 2.0开始,使用DataflowRunner并指定--templateLocation

mvn compile exec:java \
 -Dexec.mainClass=com.example.myclass \
 -Dexec.args="--runner=DataflowRunner \
              --project=[YOUR_PROJECT_ID] \
              --stagingLocation=gs://[YOUR_BUCKET_NAME]/staging \
              --output=gs://[YOUR_BUCKET_NAME]/output \
              --templateLocation=gs://[YOUR_BUCKET_NAME]/templates/MyTemplate"

请注意,--templateLocation会替换之前的--dataflowJobFile

有关Java SDK 2.X的详细信息,请参阅Creating and staging templates上的数据流文档