我有一些基于SQL搜索并播放到队列的进程。
在队列中,我将大小限制为100mb,将大小限制为10,但是即使如此,NiFi也会忽略并立即分配所有内容,从而产生了80GB以上的队列。
我正在具有8GB Ram和50GB HD的VMWare中具有4个VM的群集上运行任何人都不知道出了什么问题吗?
答案 0 :(得分:2)
您使用哪个处理器?请仔细检查处理器的运行时间表,尤其是“源”处理器(没有上游连接并自行生成数据的处理器,无论是否来自外部源)。所有处理器默认都以尽可能快的速度运行,因此,如果您具有类似GenerateFlowFile之类的东西,并且使用其默认设置运行它,它将几乎立即生成数千个流文件。
您的源处理器应该提供自己的增量性质(例如QueryDatabaseTable,它跟踪所看到的最大值,并且仅在列的值较高时才获取新行),或安排为合理的时间(1秒) ,1小时,7天等)