Dataflow 1.9曾经有TemplatingDataflowPipelineRunner
,但是梁没有。使用Beam 2.0 Java SDK创建Dataflow模板管道的步骤是什么?
答案 0 :(得分:2)
从Beam 2.0开始,使用DataflowRunner
并指定--templateLocation
:
mvn compile exec:java \
-Dexec.mainClass=com.example.myclass \
-Dexec.args="--runner=DataflowRunner \
--project=[YOUR_PROJECT_ID] \
--stagingLocation=gs://[YOUR_BUCKET_NAME]/staging \
--output=gs://[YOUR_BUCKET_NAME]/output \
--templateLocation=gs://[YOUR_BUCKET_NAME]/templates/MyTemplate"
请注意,--templateLocation
会替换之前的--dataflowJobFile
。
有关Java SDK 2.X的详细信息,请参阅Creating and staging templates上的数据流文档