Apache Flume Spooling目录重复事件

Question

Apache Flume用户指南说假脱机目录源可能会在某些情况下重复事件。 以下是文档中的行： ＆＃34;尽管有这种来源的可靠性保证，但仍有一些情况，如果发生某些下游故障，事件可能会重复。＆＃34;

那些案件是什么？特别是如果我们使用像文件频道这样的持久频道我没有看到任何重复事件发生的原因吗？

Answer 1

您将文件通道描述为持久。你没有说过一次，也只说过一次。

Flume的保证至少一次交付。批次将在失败时重新发送。这可能会导致重复事件。

示例：节点1正在向节点2发送事件。发送所有事件，节点2确认收到。然而。网络条件使得该消息丢失。节点2已存储批处理，但节点1将重新发送它。因此，重复事件。