NiFi如何处理突发数据?

时间:2017-10-26 21:28:12

标签: apache-nifi

如果提交给NiFi的数据没有稳定流动(但突发),NiFi如何处理它们?它是否使用消息代理来缓冲它们?我的文档中没有看到过这样的内容。

1 个答案:

答案 0 :(得分:2)

NiFi连接(处理器之间的链接)具有缓冲FlowFiles的能力(NiFi处理的数据单元,基本上内容+关于该内容的元数据),而NiFi也具有背压功能,处理器的能力“告诉”上游流程,它无法在特定时间处理更多数据。用户指南中的相关讨论为here

基本上你可以将连接设置为与你想要的爆发一样“宽”,或者如果不谨慎,你可以将它设置为更合适的值,而NiFi会做一些“漏水桶通知”方法,它将处理它可以处理的数据,并且框架将根据它们是否能够完成其工作来处理上游处理器的调度。

如果从源系统获取不缓冲数据的数据,那么在应用背压时可能会丢失数据;然而,这是因为当NiFi无法谨慎接受时,源系统必须推送数据,因此应该对源系统和NiFi流进行更改。