如何在Flume-NG中丢弃腐败事件？

Question

我正在使用带有avro源 - 接收器拓扑的flume文件通道来传输日志。随着日志，水槽也导致许多腐败的日志。我该如何删除这些日志。

由于合并了一些日志，腐败基本上正在发生。假设我有来自机器A的10个日志和来自机器B的10个日志。发生的事情是Flume给了我21个日志（机器A和B各10个）和1个日志，它是来自机器的日志的组合A和B.然而，这并不常见。我在10000日志中遇到1个损坏的日志，但由于规模，这也是一个问题。

Answer 1

您可以使用interceptor来弃置您选择的活动。也许你可以反省事件的主体来检查腐败并丢弃它们。