Question

我使用以下配置文件将 elasticsearch 部署到 minikube：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: elasticsearch
spec:
  replicas: 1
  selector:
    matchLabels:
      name: elasticsearch
  template:
    metadata:
      labels:
        name: elasticsearch
    spec:
      containers:
        - name: elasticsearch
          image: elasticsearch:7.10.1
          ports:
            - containerPort: 9200
            - containerPort: 9300

我运行命令 kubectl apply -f es.yml 来部署 elasticsearch 集群。

$ kubectl get pod
NAME                            READY   STATUS    RESTARTS   AGE
elasticsearch-fb9b44948-bchh2   1/1     Running   5          6m23s

elasticsearch pod 每隔几分钟就会重新启动一次。当我运行 kubectl describe pod 命令时，我可以看到这些事件：

Events:
  Type     Reason     Age                    From               Message
  ----     ------     ----                   ----               -------
  Normal   Scheduled  7m11s                  default-scheduler  Successfully assigned default/elasticsearch-fb9b44948-bchh2 to minikube
  Normal   Pulled     3m18s (x5 over 7m11s)  kubelet            Container image "elasticsearch:7.10.1" already present on machine
  Normal   Created    3m18s (x5 over 7m11s)  kubelet            Created container elasticsearch
  Normal   Started    3m18s (x5 over 7m10s)  kubelet            Started container elasticsearch
  Warning  BackOff    103s (x11 over 5m56s)  kubelet            Back-off restarting failed container

最后一个事件是 Back-off restarting failed 但我不知道为什么它会重新启动 pod。有什么办法可以检查为什么它不断重启？

Answer 1

您已经完成了第一步 (kubectl describe pod)。作为下一步，我建议检查容器日志：kubectl logs <pod_name>。在这种情况下，您 99% 从日志中得到原因（我打赌 bootstrap check 失败）。

当 describe pod 和日志都没有关于错误的任何信息时，我使用 'exec' 进入容器：kubectl exec -it <pod_name> -c <container_name> sh。有了这个，您将在容器内获得一个 shell（当然，如果其中有一个 shell 二进制文件），您就可以使用它来手动调查问题。请注意，要使失败的容器保持活动状态，您可能需要将 command 和 args 更改为如下所示：

command:
  - /bin/sh
  - -c
args:
  - cat /dev/stdout

确保在执行此操作时禁用探针。如果活性探测失败，容器可能会重新启动，如果发生，您将在 kubectl describe pod 中看到。由于您的代码段没有指定任何探针，因此您可以跳过这一点。

Answer 2

使用 kubectl logs podname 检查 Pod 的日志可提供有关可能出错的线索。

ERROR: [2] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
ERROR: Elasticsearch did not exit normally - check the logs at /usr/share/elasticsearch/logs/docker-cluster.log

查看此 post 以获得解决方案

如何诊断 k8s pod 不断重启的原因？

2 个答案: