工作流数据在Apache Nifi中意外消失

Question

我的流程正常工作，但是一小时后流量数据消失了。我将堆大小的内存从100mb减小并增加到8g，直到它不起作用，我的cpu使用率增加到500％，然后流的数据消失了。我的意思是所有处理器的输入/输出变为零，我附加了我的流。有人有解决方案吗？

我的系统配置：
macOS高山脉
处理器2.3 GHz Intel Core i7
内存16 GB 1600 MHz DDR3

这是我的流程日志 enter image description here

这是我丢失数据并删除内容后的流程 enter image description here

Answer 1

我希望这些基本概念的解释能消除混乱。

关于NiFi

NiFi是一种流量管理工具，您可以使用处理器来提取，处理和收集数据。

通常，一条消息会传入，一旦完成NiFi，消息就会消失。

关于统计信息

每个处理器将跟踪传入和传出消息。这些消息在处理器上被跟踪了一段时间，然后被“遗忘”。我相信时间是5分钟。

关于队列

您可以检查队列以查看其中的消息，如果没有消息，您当然不能检查它们。您可能对出处感兴趣。

关于出处

您可以检查队列中消息的来源，以查看消息经过处理器时如何发展（内容，时间戳）。我个人主要在HDF中使用NiFi，所以不确定在没有平台的情况下运行NiFi时是否可以使用此选项。

检测NiFi中的问题

当然可能会有例外，但是如果NiFi无法接收消息，我希望它们会陷入队列。而且，如果NiFi正在处理它们但失败了，您会期望红色正方形开始出现在UI中。

因此通常可以很容易地判断出NiFi是否出了问题。