308使用Ingress-NGINX使用ExternalName服务进行重定向循环

时间:2020-06-02 21:28:01

标签: nginx kubernetes kubernetes-ingress nginx-ingress

我正在使用ingress-nginx-controller(0.32.0),并试图将ExternalName服务指向一个URL,但是它陷入了308个重定向的循环中。我已经看到了很多问题,而且我认为我的配置只剩下一件事了。我在这里真的缺少什么小东西吗?

用于NGINX配置的ConfigMap:

kind: ConfigMap
apiVersion: v1
metadata:
  name: nginx-configuration
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
data:
  use-proxy-protocol: "true"
  use-forwarded-headers: "true"
  proxy-real-ip-cidr: "0.0.0.0/0" # restrict this to the IP addresses of ELB
  proxy-read-timeout: "3600"
  proxy-send-timeout: "3600"
  backend-protocol: "HTTPS"
  ssl-redirect: "false"
  http-snippet: |
    map true $pass_access_scheme {
      default "https";
    }
    map true $pass_port {
      default 443;
    }
    server {
      listen 8080 proxy_protocol;
      return 308 https://$host$request_uri;
    }

NGINX服务:

kind: Service
apiVersion: v1
metadata:
  name: ingress-nginx
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-ssl-cert: "XXX"
    service.beta.kubernetes.io/aws-load-balancer-backend-protocol: "tcp"
    service.beta.kubernetes.io/aws-load-balancer-ssl-ports: "https"
    service.beta.kubernetes.io/aws-load-balancer-connection-idle-timeout: "3600"
    service.beta.kubernetes.io/aws-load-balancer-proxy-protocol: "*"
spec:
  type: LoadBalancer
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
  ports:
    - name: http
      port: 80
      targetPort: 8080
    - name: https
      port: 443
      targetPort: http

入口定义:

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-members-portal
  namespace: dev
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
spec:
  rules:
  - host: foo-111.dev.bar.com
    http:
      paths:
      - path: /login
        backend:
          serviceName: foo-service
          servicePort: 80

外部名称服务:

apiVersion: v1
kind: Service
metadata:
  name: foo-service
spec:
  type: ExternalName
  externalName: foo.staging.bar.com
selector:
  app: foo

编辑

我知道了!我想指向另一个命名空间中的服务,所以我将ExternalName服务更改为:

apiVersion: v1
kind: Service
metadata:
  name: foo-service
spec:
  type: ExternalName
  externalName: foo-service.staging.svc.cluster.local
ports:
- port: 80
  protocol: TCP
  targetPort: 80
selector:
  app: foo

1 个答案:

答案 0 :(得分:1)

我认为您遇到的问题是由于您的外部服务无法正常工作所致。在入口定义中,您正在定义服务以利用foo-service上的端口80。从理论上讲,这会将您重定向到入口控制器的ELB,将您的请求重定向到https://foo.staging.bar.com地址,然后继续。

但是,外部服务并不是真的那样。本质上,所有externalName所要做的就是使用KubeDNS / CoreDNS运行DNS检查,并根据该请求返回CNAME信息。它不处理任何类型的重定向。

例如,在这种情况下,foo.staging.bar.com:80将返回foo.staging.bar.com:443。您正在将对该站点的请求定向到端口80,它本身会将请求定向到入口控制器中的端口8080,然后将请求重定向回ELB的端口443 。重定向逻辑不与外部服务共存。

那么,这里的问题是您的应用程序实际上将尝试执行此操作:

http://foo-service:80-> http://foo.staging.bar.com:80/login-> https://foo.staging.bar.com:443

我对此的期望是,您实际上从未达到第三步。为什么?好吧,因为foo-service:80并未将您定向到端口443,但首先,所有……coreDNS在后​​端所做的一切都是针对foo-service'运行DNS检查的外部名称,即foo.staging.bar.com。它不处理任何类型的重定向。因此,取决于从您的应用程序返回和处理主机的方式,您的应用程序可能实际上可能从未访问过该站点和端口。因此,您无需访问该站点,只需让您的应用针对这些请求不断循环回到http://foo-service:80,这将始终导致308环回。

这里的关键是foo-servicehost标头,它被发送到NGINX Ingress控制器,而不是foo.staging.bar.com。因此,在重定向到443时,我的期望是所有事情都发生了,那么,您是在点击foo-service了,而所有重定向都被不正确地发送回了foo-service:80

测试此问题的一种好方法是运行curl -L -v http://foo-service:80并查看会发生什么。这将遵循从该服务进行的所有重定向,并为您提供有关入口控制器如何处理这些请求的上下文。

真的很难提供更多信息,因为我无法直接访问您的设置。但是,如果您知道您的应用程序总是要碰到端口443,那么在这种情况下,将您的入口和服务更改为如下所示可能是一个很好的解决方法:


apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-members-portal
  namespace: dev
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
spec:
  rules:
  - host: foo-111.dev.bar.com
    http:
      paths:
      - path: /login
        backend:
          serviceName: foo-service
          servicePort: 443
---
apiVersion: v1
kind: Service
metadata:
  name: foo-service
spec:
  type: ExternalName
  externalName: foo.staging.bar.com

那应该确保您没有任何类型的https重定向。不幸的是,这也可能导致ssl验证出现问题,但这将是另一个问题。我可以建议的最后一步是可能仅使用foo.staging.bar.com本身,而不是在这种情况下使用外部服务。

有关更多信息,请参见:https://kubernetes.io/docs/concepts/services-networking/service/#externalname

希望这会有所帮助!