逐块读取和处理CSV文件

时间:2019-06-18 22:41:06

标签: apache-beam apache-beam-io

我正在使用Apache Beam和JAXB对象将CSV文件转换为XML文件,TextIO.read()正在读取整个文件并返回PCollection,是否可以定义块大小读取10行处理,然后追加到xml文件中,然后再读取这样的10行

PCollection<String> input = pipeline.apply(TextIO.read().from("/input.data"));
PCollection<String> output = input.apply(ParDo.of(new CSVToXMLConverter()));
 output.apply(TextIO.write().to(options.getOutput()).withFooter(Constants.XML_FOOTER));
pipeline.run().waitUntilFinish();

0 个答案:

没有答案