Minikube版本v0.24.1
kubernetes版本1.8.0
我面临的问题是我在minikube中创建了多个statefulsets
,每个都有一个pod。
有时当我启动minikube时,我的pod最初会启动,然后由kubernetes继续重启。它们将从创建容器状态转变为运行,一遍又一遍地终止。
现在我已经看到kubernetes在kubernetes检测到磁盘压力,内存压力或其他类似情况之前杀死并重新启动的东西,但这不是这种情况,因为这些标志没有被提升并且只有pod的事件日志中的消息是"需要杀死pod"。
最令人困惑的是这个问题并不是一直发生的,而且我不确定如何触发它。我的minikube设置将在一周或更长的时间内发挥作用而不会发生这种情况,然后有一天我将开始minikube并且statefulsets
的pod正在继续重启。到目前为止,我发现的唯一解决方法是删除我的minikube实例并从头开始重新设置,但显然这并不理想。
此处显示的是statefulsets
其中一个pod不断重启的示例。在日志中看到kubernetes正在删除pod并再次启动它。这反复发生。我无法弄清楚为什么它一直这样做以及为什么它有时只会进入这种状态。
$ kubectl describe statefulsets mongo --namespace=storage
Name: mongo
Namespace: storage
CreationTimestamp: Mon, 08 Jan 2018 16:11:39 -0600
Selector: environment=test,role=mongo
Labels: name=mongo
Annotations: kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"apps/v1beta1","kind":"StatefulSet","metadata":{"annotations":{},"labels":{"name":"mongo"},"name":"mongo","namespace":"storage"},"...
Replicas: 1 desired | 1 total
Pods Status: 1 Running / 0 Waiting / 0 Succeeded / 0 Failed
Pod Template:
Labels: environment=test
role=mongo
Containers:
mongo:
Image: mongo:3.4.10-jessie
Port: 27017/TCP
Command:
mongod
--replSet
rs0
--smallfiles
--noprealloc
Environment: <none>
Mounts:
/data/db from mongo-persistent-storage (rw)
mongo-sidecar:
Image: cvallance/mongo-k8s-sidecar
Port: <none>
Environment:
MONGO_SIDECAR_POD_LABELS: role=mongo,environment=test
KUBERNETES_MONGO_SERVICE_NAME: mongo
Mounts: <none>
Volumes: <none>
Volume Claims:
Name: mongo-persistent-storage
StorageClass:
Labels: <none>
Annotations: volume.alpha.kubernetes.io/storage-class=default
Capacity: 5Gi
Access Modes: [ReadWriteOnce]
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulDelete 23m (x46 over 1h) statefulset delete Pod mongo-0 in StatefulSet mongo successful
Normal SuccessfulCreate 3m (x62 over 1h) statefulset create Pod mongo-0 in StatefulSet mongo successful
答案 0 :(得分:1)
经过一些挖掘之后,似乎有一个错误会影响为同一个状态集创建多个控制器的状态集:
https://github.com/kubernetes/kubernetes/issues/56355
这个问题似乎已得到解决,修复程序似乎已经被移植到版本1.8的kubernetes并包含在1.9版本中,但是minikube还没有修复版本。如果系统进入此状态,则解决方法是列出控制器修订,如下所示:
$ kubectl get controllerrevisions --namespace=storage
NAME CONTROLLER REVISION AGE
mongo-68bd5cbcc6 StatefulSet/mongo 1 19h
mongo-68bd5cbcc7 StatefulSet/mongo 1 7d
并删除每个statefulset的重复控制器。
$ kubectl delete controllerrevisions mongo-68bd5cbcc6 --namespace=storage
或者只是使用包含此错误修复的kubernetes或更高版本1.9。