TailFile状态持续增加和重复的事件

Question

我目前正在使用NiFi使用JSON流插件读取BRO IDS日志。该插件以JSON格式写入输出，该文件以15分钟的间隔旋转其文件，格式为“ json_streaming_type。＃。log”，其中当前文件始终为“ json_streaming_typex.log”，文件旋转升至最大限制（因此1变为2 ，并且2变为3，依此类推）。

示例：

json_streaming_typex.log
json_streaming_typex.1.log
json_streaming_typex.2.log

我的TailFile进程配置如下：

*注意：处理器配置为每5秒读取一次。

这可以工作一段时间，但最终会出现两个问题。第一个是状态不断增加且从未清除（我最初认为这是因为最大年龄设置为24小时），第二个是一个小时左右后状态开始包含代表正则表达式的条目用于列出要拖尾的文件。由于后者重复发生事件。

我不确定是怎么回事，为什么，或者我做错了什么。老实说，我几乎不了解TailFile处理器的配置在处理多个旋转文件时应该如何工作。该文档有些混乱，尤其是因为它提到了不再存在的“滚动策略”属性。

今天，我重新配置了设置，以将滚动文件名格式更改为“ json_streaming_typex.log。＃”，以使其与所提供的示例更加一致，尽管它并未更改症状/问题/问题。可行的是，除了将轮播文件的最大数量从四个减少到一个之外，还可以将“查找频率”调整为1分钟，将“最大期限”调整为10分钟。唯一剩下的问题是状态文件不断增长，我不知道为什么。请注意，还可以将旋转时间从15分钟调整为5分钟，以与较小的时间间隔对齐。

我渴望了解TailFile如何管理多个滚动文件和/或为什么我的设置无法按预期工作。

注意：当状态超过500个条目并且一次尝试过滤UI时似乎停滞了。