使用NXLog删除重复的行

Question

我使用NXLog读取日志文件并将其发送到Logstash。这工作正常，但一些日志项是重复的。它们分开，但内容完全相同。我无法改变日志写入日志文件的方式，因此唯一的方法是在发送之前使用NXlog修复它，或者在它到达时使用Logstash，我不想这样做。

NXlog确实有这个功能，但它对我不起作用。

<Processor norepeat>
Module  pm_norepeat
</Processor>

<Route 1>
Path in => norepeat => out
</Route>

在此之后，我仍然在Logstash中收到重复项。有什么想法吗？

Answer 1

im_file 填充 raw_event 所以你应该使用它：

CheckFields raw_event

请参阅答案here。