EFK Kubernetes日志聚合

Question

我正在将EFK堆栈安装到已有100天历史的集群中。 Fluentd将获取100天的日志，并将开始发送到Elastic。 是否有一项规定可以使fluentd从今天开始而不是从集群的生命周期开始聚合日志？

Answer 1

如果您查看Fluentd documentation，则会发现limit_recently_modified标志，该标志允许将监视时间限制在指定时间范围内的监视文件。

以下是limit_recently_modified在conf文件中的使用方式：

...
<source>
    exclude_path ["/var/log/wedge/*/*/MattDaemon*.log"]
    path_key source
    format none
    read_from_head true
    tag foo.*
    path /var/log/wedge/*/*/*.log
    pos_file /var/log/td-agent/wedgelog
    limit_recently_modified 86400s
    @type tail
</source>
...

另一种选择是使用Filebeat（而不是Fluentd），您可以在其中找到ignore_older标志。 Filebeat会忽略在指定时间间隔之前修改的所有文件。

希望对您有帮助。