Apache Beam / Dataflow:在转换之间传递属性

时间:2018-10-29 20:59:54

标签: google-cloud-dataflow apache-beam

是否可以在PTransforms之间传递元数据/属性?此信息不是元素的一部分,但是在处理元素时应该可以访问。我有一个约束,该信息不能作为构造函数参数传递。

1 个答案:

答案 0 :(得分:1)

为什么不能将其作为构造函数参数传递?

在进行特定转换之前,值是未知的吗?如果是这样,则您可以将其检索为附加输出,然后使用pvalue将其输入为需要作为副输入的任何地方。

https://beam.apache.org/documentation/programming-guide/#additional-outputs

https://beam.apache.org/documentation/programming-guide/#side-inputs

https://beam.apache.org/releases/pydoc/2.8.0/apache_beam.pvalue.html#apache_beam.pvalue.AsSingleton