为什么Kubernetes Pod进入终止状态给出完成原因并退出代码0?

时间:2017-03-27 11:15:20

标签: kubernetes kubernetes-health-check

我很难在Kubernetes文档中找到任何答案。方案如下:

  • 基于AWS的Kubernetes 1.4版
  • 运行部署为Kubernetes部署的NodeJS API(Express)的8个pod
  • 其中一个pod在深夜没有明显原因重启(没有流量,没有CPU峰值,没有内存压力,没有警报......)。由此导致重启次数增加。
  • 日志不显示任何异常(运行kubectl -p以查看以前的日志,其中没有任何错误)
  • 资源消耗是正常的,无法看到有关Kubernetes重新安排pod进入另一个节点或类似事件的任何事件
  • 描述广告单元会返回TERMINATED状态,返回COMPLETED原因并退出代码0.由于此广告连播已被替换,我无法获得kubectl的确切输出现在多次。

pod是NodeJS服务器实例,它们不能完成,它们总是在等待请求。

这是内部Kubernetes重新安排豆荚吗?有什么方法可以知道这种情况何时发生?难道不是某个地方的事件说明为什么会这样吗?

更新

这恰好发生在我们的生产环境中。描述违规吊舱的结果是:

api: Container ID: docker://7a117ed92fe36a3d2f904a882eb72c79d7ce66efa1162774ab9f0bcd39558f31 Image: 1.0.5-RC1 Image ID: docker://sha256:XXXX Ports: 9080/TCP, 9443/TCP State: Running Started: Mon, 27 Mar 2017 12:30:05 +0100 Last State: Terminated Reason: Completed Exit Code: 0 Started: Fri, 24 Mar 2017 13:32:14 +0000 Finished: Mon, 27 Mar 2017 12:29:58 +0100 Ready: True Restart Count: 1

更新2

这是使用的deployment.yaml文件:

apiVersion: "extensions/v1beta1"
kind: "Deployment"
metadata:
  namespace: "${ENV}"
  name: "${APP}${CANARY}"
  labels:
    component: "${APP}${CANARY}"
spec:
  replicas: ${PODS}
  minReadySeconds: 30
  revisionHistoryLimit: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1
      maxSurge: 1
  template:
    metadata:
      labels:
        component: "${APP}${CANARY}"
    spec:
      serviceAccount: "${APP}"

${IMAGE_PULL_SECRETS}

      containers:
      - name: "${APP}${CANARY}"
        securityContext:
          capabilities:
            add:
              - IPC_LOCK
        image: "134078050561.dkr.ecr.eu-west-1.amazonaws.com/${APP}:${TAG}"
        env:
        - name: "KUBERNETES_CA_CERTIFICATE_FILE"
          value: "/var/run/secrets/kubernetes.io/serviceaccount/ca.crt"
        - name: "NAMESPACE"
          valueFrom:
            fieldRef:
              fieldPath: "metadata.namespace"
        - name: "ENV"
          value: "${ENV}"
        - name: "PORT"
          value: "${INTERNAL_PORT}"
        - name: "CACHE_POLICY"
          value: "all"
        - name: "SERVICE_ORIGIN"
          value: "${SERVICE_ORIGIN}"
        - name: "DEBUG"
          value: "http,controllers:recommend"
        - name: "APPDYNAMICS"
          value: "true"
        - name: "VERSION"
          value: "${TAG}"
        ports:
        - name: "http"
          containerPort: ${HTTP_INTERNAL_PORT}
          protocol: "TCP"
        - name: "https"
          containerPort: ${HTTPS_INTERNAL_PORT}
          protocol: "TCP"

上述部署清单中引用的映像的Dockerfile:

FROM ubuntu:14.04
ENV NVM_VERSION v0.31.1
ENV NODE_VERSION v6.2.0
ENV NVM_DIR /home/app/nvm
ENV NODE_PATH $NVM_DIR/v$NODE_VERSION/lib/node_modules
ENV PATH      $NVM_DIR/v$NODE_VERSION/bin:$PATH
ENV APP_HOME /home/app

RUN useradd -c "App User" -d $APP_HOME -m app
RUN apt-get update; apt-get install -y curl
USER app

# Install nvm with node and npm
RUN touch $HOME/.bashrc; curl https://raw.githubusercontent.com/creationix/nvm/${NVM_VERSION}/install.sh | bash \
    && /bin/bash -c 'source $NVM_DIR/nvm.sh; nvm install $NODE_VERSION'

ENV NODE_PATH $NVM_DIR/versions/node/$NODE_VERSION/lib/node_modules
ENV PATH      $NVM_DIR/versions/node/$NODE_VERSION/bin:$PATH

# Create app directory
WORKDIR /home/app
COPY . /home/app

# Install app dependencies
RUN npm install

EXPOSE 9080 9443
CMD [ "npm", "start" ]

npm start是常规node app.js命令的别名,用于在端口9080上启动NodeJS服务器。

2 个答案:

答案 0 :(得分:2)

检查您运行的docker的版本,以及在此期间是否重新启动了docker守护程序。

如果docker守护程序重新启动,则所有容器都将被终止(除非您在1.12中使用新的"实时恢复"功能)。在某些 docker版本中,docker可能会错误地报告"退出代码0"对于在这种情况下终止的所有容器。有关详细信息,请参阅https://github.com/docker/docker/issues/31262

答案 1 :(得分:1)

如果这仍然相关,我们在群集中遇到了类似的问题。

我们通过检查docker本身的日志设法找到了更多信息。 ssh到你的k8s节点并运行以下命令:

sudo journalctl -fu docker.service