apache beam(python)中的重定向意味着什么

时间:2018-05-24 23:46:11

标签: python apache-beam

在apache beam python sdk中,我经常看到'>>'管道程序中的操作员。

https://beam.apache.org/documentation/programming-guide/#pipeline-io

lines = p | 'ReadFromText' >> beam.io.ReadFromText('path/to/input-*.csv')

这是什么意思?

1 个答案:

答案 0 :(得分:2)

>>是Python中正确的按位移位运算符。等效的dunder(双下划线)方法是__rrshift__()

在Python中实现Apache Beam只是为__rrshift__()类重新定义PTransform,以便可以将名称添加到转换中。它只是特殊的语法。在您的示例中," ReadFromText"是变换的名称。

参考:https://github.com/apache/beam/blob/master/sdks/python/apache_beam/transforms/ptransform.py#L445