我正在使用Apache Beam和JAXB对象将CSV文件转换为XML文件,TextIO.read()正在读取整个文件并返回PCollection,是否可以定义块大小读取10行处理,然后追加到xml文件中,然后再读取这样的10行
PCollection<String> input = pipeline.apply(TextIO.read().from("/input.data"));
PCollection<String> output = input.apply(ParDo.of(new CSVToXMLConverter()));
output.apply(TextIO.write().to(options.getOutput()).withFooter(Constants.XML_FOOTER));
pipeline.run().waitUntilFinish();