我在ubuntu 14.04上安装了logstash,elasticsearch,kibana,我使用cca 40 logstash-forwarders(ubuntu 12.04& 14.04),我能够每秒收到cca 300-400logs,我想从此开始收获日志"今天",而不是旧日志.. 几个星期前我运行了logstash,它仍然只收获旧日志,我想更实时地收集日志。
我尝试设置过滤器,与策展人一起工作,我试图谷歌,但我仍然没有解决方案。
不幸的是,在我的情况下无法轮换旧日志,因为我们必须存储旧日志以进行安全审核。
答案 0 :(得分:0)
如果您的日志不在单独的文件中(您可能会想出一个glob模式来限制索引的内容),那么我建议计算" lag" (事件的时间戳和当前时间戳之间的差异)。如果滞后高于您的阈值,请删除事件。