Kubernetes继续在Minikube中重新启动状态集的窗口,并且#34;需要杀死pod"

时间:2018-01-16 01:37:34

标签: kubernetes minikube

Minikube版本v0.24.1

kubernetes版本1.8.0

我面临的问题是我在minikube中创建了多个statefulsets,每个都有一个pod。

有时当我启动minikube时,我的pod最初会启动,然后由kubernetes继续重启。它们将从创建容器状态转变为运行,一遍又一遍地终止。

现在我已经看到kubernetes在kubernetes检测到磁盘压力,内存压力或其他类似情况之前杀死并重新启动的东西,但这不是这种情况,因为这些标志没有被提升并且只有pod的事件日志中的消息是"需要杀死pod"。

最令人困惑的是这个问题并不是一直发生的,而且我不确定如何触发它。我的minikube设置将在一周或更长的时间内发挥作用而不会发生这种情况,然后有一天我将开始minikube并且statefulsets的pod正在继续重启。到目前为止,我发现的唯一解决方法是删除我的minikube实例并从头开始重新设置,但显然这并不理想。

此处显示的是statefulsets其中一个pod不断重启的示例。在日志中看到kubernetes正在删除pod并再次启动它。这反复发生。我无法弄清楚为什么它一直这样做以及为什么它有时只会进入这种状态。

$ kubectl describe statefulsets mongo --namespace=storage
Name:               mongo
Namespace:          storage
CreationTimestamp:  Mon, 08 Jan 2018 16:11:39 -0600
Selector:           environment=test,role=mongo
Labels:             name=mongo
Annotations:        kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"apps/v1beta1","kind":"StatefulSet","metadata":{"annotations":{},"labels":{"name":"mongo"},"name":"mongo","namespace":"storage"},"...
Replicas:           1 desired | 1 total
Pods Status:        1 Running / 0 Waiting / 0 Succeeded / 0 Failed
Pod Template:
  Labels:  environment=test
           role=mongo
  Containers:
   mongo:
    Image:  mongo:3.4.10-jessie
    Port:   27017/TCP
    Command:
      mongod
      --replSet
      rs0
      --smallfiles
      --noprealloc
    Environment:  <none>
    Mounts:
      /data/db from mongo-persistent-storage (rw)
   mongo-sidecar:
    Image:  cvallance/mongo-k8s-sidecar
    Port:   <none>
    Environment:
      MONGO_SIDECAR_POD_LABELS:       role=mongo,environment=test
      KUBERNETES_MONGO_SERVICE_NAME:  mongo
    Mounts:                           <none>
  Volumes:                            <none>
Volume Claims:
  Name:          mongo-persistent-storage
  StorageClass:  
  Labels:        <none>
  Annotations:   volume.alpha.kubernetes.io/storage-class=default
  Capacity:      5Gi
  Access Modes:  [ReadWriteOnce]
Events:
  Type    Reason            Age                From         Message
  ----    ------            ----               ----         -------
  Normal  SuccessfulDelete  23m (x46 over 1h)  statefulset  delete Pod mongo-0 in StatefulSet mongo successful
  Normal  SuccessfulCreate  3m (x62 over 1h)   statefulset  create Pod mongo-0 in StatefulSet mongo successful

1 个答案:

答案 0 :(得分:1)

经过一些挖掘之后,似乎有一个错误会影响为同一个状态集创建多个控制器的状态集:

https://github.com/kubernetes/kubernetes/issues/56355

这个问题似乎已得到解决,修复程序似乎已经被移植到版本1.8的kubernetes并包含在1.9版本中,但是minikube还没有修复版本。如果系统进入此状态,则解决方法是列出控制器修订,如下所示:

$ kubectl get controllerrevisions --namespace=storage
NAME                  CONTROLLER              REVISION   AGE
mongo-68bd5cbcc6      StatefulSet/mongo       1          19h
mongo-68bd5cbcc7      StatefulSet/mongo       1          7d

并删除每个statefulset的重复控制器。

$ kubectl delete controllerrevisions mongo-68bd5cbcc6  --namespace=storage

或者只是使用包含此错误修复的kubernetes或更高版本1.9。