使用logstash手动定期将日志文件导入Graylog的最佳方法

Question

我目前正在使用logstash将来自不同webapps的数十个日志文件导入Graylog。它的工作效果很好，因为我知道这些文件来源于它们。

我无法更改webapp因此我无法将GELF appender添加到webapp的log4j conf中。我们的想法是定期检索日志文件，解析它们并使用logstash将它们导入Graylog。

我的问题是我如何确保不导入我已经导入的日志事件。 例如，我有一个日志文件，其日志模式递增：log.1，log.2等。所以我将有第一次可以在log.1中的日志事件和我重新导入的2周后他们可能会在log.3中。 我担心无法用logstash的文件输入“sincedb_path”和“start_position”处理它。

所以这里有一些我收集的选项，如果有人遇到同样的问题，我希望你对他们有所了解：

• 使用logstash过滤器在特定日期之前删除所有事件， 需要保留每个文件的每个最后日志日期的索引 导入（可能50+）和大量配置编写
• 在GrayLog中使用流氓规则来拒绝之前带有时间戳的日志 收到给定类型的上次日志
• 要求将日志模式更改为类似于log.date 重命名文件的日志模式（但我宁愿避免使用此文件）
• 还有其他想法吗？