日志文件通常包含重复条目，尤其是在嵌入式应用程序中。这些可以构成日志流或文件的绝大部分。时间序列格式导致大文件，并且难以在较长时间范围内识别异常值和有意义的变化。将全格式日志从嵌入式设备传输到云应用程序进行分析并不总是有意义的。
我正在寻找一个通用的命令行过滤工具或工具来压缩时间序列日志文本，只删除冗余条目，可以接受流式和静态文件输入，并且可以在嵌入式Linux设备上运行笔记本电脑。我还没有找到这样的东西，想知道它是否存在。
非重复内容刚刚通过。
压缩重复内容，从而排除周期序列的第一个和最后一个实例之间的大多数或所有中间实例。
过滤器将输出：
，而不是冗余输出该工具应具有一些可配置的参数，例如：
该工具对于重复日志和文本输出非常有用，例如来自syslog，journalctl，candump，tcpdump等。
我已经开始研究这样一个工具了，但想知道我是否已经存在可以借用并做出贡献的事情。在准备这个问题时，我查看了50多个日志管理工具，但没有找到这个功能。 The Log File Navigator看起来最接近有用，可能是一个很好的起点。