避免重叠日志处理

Question

扫描一系列文件（例如系统日志）时，如何避免再次重新扫描同一系列日志？我有兴趣做Splunk在数据库中保存日志的任何事情，但是我想不出更新数据库的方法，而不在先前扫描的文件中放置一些指示器。是否有任何技术可用于此过程，或者我是否必须扫描文件，找到上一次扫描中的最后一项，然后再开始处理。

Answer 1

1）Splunk不使用数据库，它将信息索引到磁盘上的压缩平面文件

2）如果您使用Splunk来监控日志文件和日志文件目录，那么Splunk足够智能，可以跟踪它在监控中的位置，因此它不会重新索引重复的日志事件。