在processElement()中选择元素 - Apache Beam

时间:2017-08-29 12:37:54

标签: google-cloud-dataflow apache-beam

我知道当我们实现ParDo变换时,我们会从数据中获取单个元素(基本上由" \ n"分隔)。但是如果我的元素在我的文件中占据两行呢?我可以根据自己的条件选择元素吗?或者总是需要在一行中包含一个元素?

1 个答案:

答案 0 :(得分:1)

阅读文本文件由TextIO控制,而不是ParDo - 我想这就是你的意思。事实上,现在TextIO每行将文件拆分为1个元素,但是正在进行更改。您可以点击https://issues.apache.org/jira/browse/BEAM-2802上的工作。

如果您对文件格式有更多了解,那么这项工作将非常有用,以确保它在范围内。