Nginx入口控制器-调用Webhook失败

时间：2020-05-05 14:59:52

标签： kubernetes kubernetes-ingress nginx-ingress kubeadm

我在Ubuntu虚拟机上使用kubeadm（v1.18）设置了一个k8s集群。 现在，我需要添加一个Ingress控制器。我决定使用nginx（但是我愿意接受其他解决方案）。我根据docs的“裸机”部分安装了它：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-0.31.1/deploy/static/provider/baremetal/deploy.yaml

安装对我来说似乎很好：

kubectl get all -n ingress-nginx 

NAME                                            READY   STATUS      RESTARTS   AGE
pod/ingress-nginx-admission-create-b8smg        0/1     Completed   0          8m21s
pod/ingress-nginx-admission-patch-6nbjb         0/1     Completed   1          8m21s
pod/ingress-nginx-controller-78f6c57f64-m89n8   1/1     Running     0          8m31s

NAME                                         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
service/ingress-nginx-controller             NodePort    10.107.152.204   <none>        80:32367/TCP,443:31480/TCP   8m31s
service/ingress-nginx-controller-admission   ClusterIP   10.110.191.169   <none>        443/TCP                      8m31s

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/ingress-nginx-controller   1/1     1            1           8m31s

NAME                                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/ingress-nginx-controller-78f6c57f64   1         1         1       8m31s

NAME                                       COMPLETIONS   DURATION   AGE
job.batch/ingress-nginx-admission-create   1/1           2s         8m31s
job.batch/ingress-nginx-admission-patch    1/1           3s         8m31s

但是，当尝试应用自定义Ingress时，出现以下错误：

Error from server (InternalError): error when creating "yaml/xxx/xxx-ingress.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s: Temporary Redirect

有什么想法吗？

我怀疑DNS，但是其他NodePort服务正在按预期方式工作，并且DNS在群集中正常工作。

我唯一能看到的是我没有docs here中提到的default-http-backend。但是，根据this thread，这对我而言似乎很正常。

最后但并非最不重要的一点，我也尝试了installation with manifests（在从先前的安装中删除了ingress-nginx名称空间之后）和installation via Helm chart。结果相同。

我几乎是k8s的初学者，这是我的游乐场。因此，只要不需要从头开始设置整个集群，我也可以选择其他解决方案。

更新： “应用自定义Ingress”是指： kubectl apply -f <myIngress.yaml>

myIngress.yaml的内容

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: my-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - http:
      paths:
      - path: /someroute/fittingmyneeds
        pathType: Prefix
        backend:
          serviceName: some-service
          servicePort: 5000

6 个答案:

答案 0 :(得分：13)

您还有另一个选择是完全删除“验证Webhook”：

kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission

我发现我必须在product code上执行此操作，但是解决方法/解决方案在这里也适用。

这不是最佳答案；最好的答案是弄清楚为什么它不起作用。但是在某些时候，您可以使用变通办法。

我正在Mac的Docker上安装，因此我使用的是cloud而不是baremetal版本：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/cloud/deploy.yaml

答案 1 :(得分：4)

我已经解决了这个问题。问题是您使用的是Kubernetes版本1.18，但是当前ingress-Nginx中的ValidatingWebhookConfiguration使用了最早的API。查看文档： https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites

确保Kubernetes集群至少与v1.16（要使用admissionregistration.k8s.io/v1）或v1.9（要使用admissionregistration.k8s.io/v1beta1）一样新。

在当前yaml中：

 # Source: ingress-nginx/templates/admission-webhooks/validating-webhook.yaml
    # before changing this value, check the required kubernetes version
    # https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
apiVersion: admissionregistration.k8s.io/v1beta1

和规则中：

apiVersions:
          - v1beta1

因此您需要在v1上进行更改：

apiVersion: admissionregistration.k8s.io/v1

并添加规则-v1：

apiVersions:
          - v1beta1
          - v1

更改并重新部署后-您的自定义入口服务将部署成功

答案 2 :(得分：4)

就我而言，我不需要删除 ValidatingWebhookConfiguration。问题是我在 GCP 版本 1.17.14-gke.1600 上使用了私有集群。如果我理解正确，在默认的 Kubernetes 安装中，valitaingwebhook API（当然在主节点上运行）会在端口 443 处公开。但是使用 GCP，他们出于安全原因将端口更改为 8443，因为为了分配443端口，服务需要对节点有root权限。因为他们不想那样，所以改成了 8443。现在，由于私有集群只允许外部的 80/443 端口用于节点上的 Ingress（也就是说，所有节点只会接受请求到这些端口），当 Kubernetes 尝试根据 validatingwebhook-address:8443 验证您的 Ingress 时，它将失败 - 如果它在 443 上运行，则不会失败。This thread 包含更多详细信息。

因此，当前的解决方法是，recommended by Google itself（但记录很少）正在 GCP 上添加防火墙规则，这将允许在端口 8443 上向您的主节点发送入站（入口）TCP 请求，以便集群中的其他节点可以通过该端口访问主节点以验证在其上运行的 webhook API。

至于如何创建规则，我是这样做的：

  1. 去了 Firewall Rules 并添加了一个新的。
  2. 在网络字段中，我选择了我的集群所在的 VPC。
  3. 交通方向我设置为Ingress
  4. 匹配操作到Allow
  5. 目标到Specified target tags
  6. 目标标签可以在名为网络标签的属性中的主节点详细信息中找到。为了找到它，我打开了一个新窗口，转到我的集群节点池，找到主节点池。然后输入节点之一以查找虚拟机详细信息。我在那里找到了网络标签。复制其值并返回到防火墙规则表单。
  7. 将复制的网络标签粘贴到标签字段
  8. 在协议和端口，检查Specified protocols and ports
  9. 然后检查TCP并放置8443
  10. 保存规则并再次应用清单。
<块引用>

注意：大多数线程会说它是端口 9443。它可能会工作。但是我第一次尝试了 8443，因为据报道它可以在 this thread 上工作。它对我有用，所以我什至没有尝试 9443。

答案 3 :(得分：3)

最后，通过更改安装方式，我设法正确运行了Ingress Nginx。我仍然不明白为什么以前的安装无法正常工作，但是我仍将分享该解决方案以及对原始问题的更多见解。

解决方案

卸载ingress nginx：删除ingress-nginx名称空间。这不会删除验证Webhook配置-手动删除此配置。然后安装MetalLB并再次安装入口nginx。现在，我使用了Helm稳定版仓库中的版本。现在一切正常。感谢Long在kubernetes闲置频道上！

对原始问题的更多见解

installation guide提供的Yaml包含ValidatingWebHookConfiguration：

apiVersion: admissionregistration.k8s.io/v1beta1
kind: ValidatingWebhookConfiguration
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: admission-webhook
  name: ingress-nginx-admission
  namespace: ingress-nginx
webhooks:
  - name: validate.nginx.ingress.kubernetes.io
    rules:
      - apiGroups:
          - extensions
          - networking.k8s.io
        apiVersions:
          - v1beta1
        operations:
          - CREATE
          - UPDATE
        resources:
          - ingresses
    failurePolicy: Fail
    clientConfig:
      service:
        namespace: ingress-nginx
        name: ingress-nginx-controller-admission
        path: /extensions/v1beta1/ingresses

每当我创建或更新一个入口时，都会执行验证（ingress.yaml的内容无关紧要）。验证失败，因为调用服务时，响应为“临时重定向”。我不知道为什么 相应的服务是：

apiVersion: v1
kind: Service
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller-admission
  namespace: ingress-nginx
spec:
  type: ClusterIP
  ports:
    - name: https-webhook
      port: 443
      targetPort: webhook
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/component: controller

与选择器匹配的容器来自此部署：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/instance: ingress-nginx
      app.kubernetes.io/component: controller
  revisionHistoryLimit: 10
  minReadySeconds: 0
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/component: controller
    spec:
      dnsPolicy: ClusterFirst
      containers:
        - name: controller
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0
          imagePullPolicy: IfNotPresent
          lifecycle:
            preStop:
              exec:
                command:
                  - /wait-shutdown
          args:
            - /nginx-ingress-controller
            - --election-id=ingress-controller-leader
            - --ingress-class=nginx
            - --configmap=ingress-nginx/ingress-nginx-controller
            - --validating-webhook=:8443
            - --validating-webhook-certificate=/usr/local/certificates/cert
            - --validating-webhook-key=/usr/local/certificates/key
          securityContext:
            capabilities:
              drop:
                - ALL
              add:
                - NET_BIND_SERVICE
            runAsUser: 101
            allowPrivilegeEscalation: true
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          livenessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
            - name: https
              containerPort: 443
              protocol: TCP
            - name: webhook
              containerPort: 8443
              protocol: TCP
          volumeMounts:
            - name: webhook-cert
              mountPath: /usr/local/certificates/
              readOnly: true
          resources:
            requests:
              cpu: 100m
              memory: 90Mi
      serviceAccountName: ingress-nginx
      terminationGracePeriodSeconds: 300
      volumes:
        - name: webhook-cert
          secret:
            secretName: ingress-nginx-admission

此验证链中的内容出了问题。知道什么以及为什么会很有趣，但是我可以继续使用MetalLB解决方案。请注意，此解决方案根本不包含任何验证Webhook。

答案 4 :(得分：1)

就我而言，我将安装混合在一起。 我通过执行以下步骤解决了该问题：

$ kubectl get validatingwebhookconfigurations

我遍历以上步骤中收到的配置列表，并使用删除了配置

$ `kubectl delete validatingwebhookconfigurations [configuration-name]`

答案 5 :(得分：0)

在裸机集群上，我在 Helm3 安装期间禁用了 admissionWebhooks：

kubectl create ns ingress-nginx

helm install [RELEASE_NAME] ingress-nginx/ingress-nginx -n ingress-nginx --set controller.admissionWebhooks.enabled=false
相关问题
最新问题