在apache beam python sdk中,我经常看到'>>'管道程序中的操作员。
https://beam.apache.org/documentation/programming-guide/#pipeline-io
lines = p | 'ReadFromText' >> beam.io.ReadFromText('path/to/input-*.csv')
这是什么意思?
答案 0 :(得分:2)
>>
是Python中正确的按位移位运算符。等效的dunder(双下划线)方法是__rrshift__()
。
在Python中实现Apache Beam只是为__rrshift__()
类重新定义PTransform
,以便可以将名称添加到转换中。它只是特殊的语法。在您的示例中," ReadFromText"是变换的名称。
参考:https://github.com/apache/beam/blob/master/sdks/python/apache_beam/transforms/ptransform.py#L445