Nifi消耗了所有可用磁盘空间

时间:2018-08-06 14:18:40

标签: apache-nifi

我有一些基于SQL搜索并播放到队列的进程。

在队列中,我将大小限制为100mb,将大小限制为10,但是即使如此,NiFi也会忽略并立即分配所有内容,从而产生了80GB以上的队列。

我正在具有8GB Ram和50GB HD的VMWare中具有4个VM的群集上运行任何人都不知道出了什么问题吗?

1 个答案:

答案 0 :(得分:2)

您使用哪个处理器?请仔细检查处理器的运行时间表,尤其是“源”处理器(没有上游连接并自行生成数据的处理器,无论是否来自外部源)。所有处理器默认都以尽可能快的速度运行,因此,如果您具有类似GenerateFlowFile之类的东西,并且使用其默认设置运行它,它将几乎立即生成数千个流文件。

您的源处理器应该提供自己的增量性质(例如QueryDatabaseTable,它跟踪所看到的最大值,并且仅在列的值较高时才获取新行),或安排为合理的时间(1秒) ,1小时,7天等)