如何解决Kubernetes中日益增长的日志问题?

时间:2019-12-06 08:54:58

标签: logging kubernetes disk logrotate

由于磁盘压力大,我正在维护K8s集群,最近kubelet在不同节点上多次驱逐了Pod。经过调查,我发现问题出在/var/lib/docker/containers/.../*-json.log上的容器日志文件中,这些文件可能会增长到数百个Gi,并消耗掉所有磁盘。

当我使用由Kibana,Elasticsearch和Fluentbit组成的中央日志记录堆栈时,我什至面对这一问题。 fluentbit测井约为500 Gi,并且在卸下中央测井堆栈后,磁盘压力几乎得以解决。但是现在我在其他组件中看到了它,它的日志消耗了大约170 Gi。

在k8s中管理日志文件的最佳实践和工具是什么?

1 个答案:

答案 0 :(得分:1)

每个Kubernetes安装程序都应包含Logrotate来处理此问题。 https://kubernetes.io/docs/concepts/cluster-administration/logging/包含一些基本信息,但这取决于您的确切配置。

编辑:正如我现在所知,Docker本身也可以直接进行日志轮换,因此也是一种选择。