我对Nifi的批处理有疑问。
由于Nifi的处理速度(将xml转换为csv)现在很慢,因此要求我使其速度比现在快6倍。并且需要对Nifi进行批处理。我做了一些研究,看来,批处理的唯一方法是根据下一篇文章,使用MergeContent处理器将多个流文件合并为更大的文件。
Is Nifi having batch processing?
我了解MergeContent处理器是CPU密集型处理器,应尽可能避免使用。从这个意义上说,不确定是否可以提高整体速度。
但是有什么方法可以将多个xml(30KB〜3MB)合并为更大的XML(〜120 MB),并且python xml模块可以读取合并的xml吗? (我实现了ExecuteStreamCommand,该命令运行外部python脚本将嵌套的xml格式修改为扁平化格式,以便Nifi控制器服务可以将xml转换为csv格式)
首先在Nifi上进行批处理是优化性能的好方法吗?