我知道当我们实现ParDo变换时,我们会从数据中获取单个元素(基本上由" \ n"分隔)。但是如果我的元素在我的文件中占据两行呢?我可以根据自己的条件选择元素吗?或者总是需要在一行中包含一个元素?
答案 0 :(得分:1)
阅读文本文件由TextIO
控制,而不是ParDo
- 我想这就是你的意思。事实上,现在TextIO
每行将文件拆分为1个元素,但是正在进行更改。您可以点击https://issues.apache.org/jira/browse/BEAM-2802上的工作。
如果您对文件格式有更多了解,那么这项工作将非常有用,以确保它在范围内。