Question

我只有几个内部服务与一个或多个内部 .example.com 进行通信。如何在将 .example.com 的调用路由到实际服务的群集中部署？注意：没有

注意，我可能需要创建别名，例如 .interal.example.com ---> .example.com

这个想法是，体系结构中的许多组件都具有对.example.com域的http调用，并且可以进行迁移。我希望Kubernetes负责将适当的.example.com映射到集群中的服务，而不是外部的。而且不必将所有.example.com重命名为.svc.cluster.local

这些服务不应在外部公开，而只有入口在外部公开。

实现此目标的最佳方法是什么？

Answer 1

因此，通过阅读一些Kubernetes文档，看起来kube-dns可以处理群集中的所有DNS解析。默认情况下，这只是执行节点的操作（使用公共DNS解析），因此它实际上会尝试与* .example.com对话。

因此，我认为解决方法是覆盖kube-dns的行为。 Kubernetes文档在此处提供了一些有关此信息：https://kubernetes.io/docs/tasks/administer-cluster/dns-custom-nameservers/

我对DNS的东西不是很满意，但是从文档页面看，CoreDNS选项看起来很有趣，因为它具有重写配置。因此，也许很容易将service.example.com重写为对service.svc.cluster.local的调用。

Answer 2

这可行，这里的假设是服务<service_name>.example.com映射到<service_name>.svc.cluster.local。通常会涉及一个名称空间，因此重写看起来更像{1}.{1}.svc.cluster.local（其中<service_name>也是<namespace_name>），或者可以根据需要对名称空间进行硬编码{1}.<namespace_name>.svc.cluster.local 。

请记住不要将kubernetes.io/cluster-service: "true"设置为true，因此将其注释掉；否则，如果将其设置为true，则GKE会继续删除该服务。我没有调查为什么会这样。

CoreDNS proxy plugin不会使用DNS名称，而是使用IP，IP：PORT或FILENAME（例如/etc/resolv.conf）。

需要代理/上游，因为一旦将DNS解析交给CoreDNS，并且CoreDNS将其重写为本地群集服务，则必须解析该本地群集服务DNS条目，请参阅kubernetes文档中的effects on pods 。最终对IP的解析发生在代理服务器上，或者甚至使用指向kube-dns.kube-system.svc.cluster.local的上游服务器。

apiVersion: v1
kind: ConfigMap
metadata:
  name: internal-dns
  namespace: kube-system
data:
  Corefile: |
    example.com:53 {
      log
      errors
      health
      prometheus :9153
      rewrite name regex (.*).example.com {1}.svc.cluster.local
      proxy . 10.10.10.10 ### ip of kube-dns.kube-system.svc.cluster.local
    }
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: internal-dns
  namespace: kube-system
  labels:
    k8s-app: internal-dns
    kubernetes.io/name: "CoreDNS"
spec:
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1
  selector:
    matchLabels:
      k8s-app: internal-dns
  template:
    metadata:
      labels:
        k8s-app: internal-dns
    spec:
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
        - key: "CriticalAddonsOnly"
          operator: "Exists"
      containers:
      - name: coredns
        image: coredns/coredns:1.2.6
        imagePullPolicy: IfNotPresent
        resources:
          limits:
            memory: 170Mi
          requests:
            cpu: 100m
            memory: 70Mi
        args: [ "-conf", "/etc/coredns/Corefile" ]
        volumeMounts:
        - name: config-volume
          mountPath: /etc/coredns
          readOnly: true
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        - containerPort: 9153
          name: metrics
          protocol: TCP
        livenessProbe:
          httpGet:
            path: /health
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
      dnsPolicy: Default
      volumes:
        - name: config-volume
          configMap:
            name: coredns
            items:
            - key: Corefile
              path: Corefile
---
apiVersion: v1
kind: Service
metadata:
  name: internal-dns
  namespace: kube-system
  annotations:
    prometheus.io/port: "9153"
    prometheus.io/scrape: "true"
  labels:
    k8s-app: internal-dns
    #kubernetes.io/cluster-service: "true"
    kubernetes.io/name: "CoreDNS"
spec:
  selector:
    k8s-app: internal-dns
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP

如@ patrick-w和@ danny-l在上面的注释中所指出的，需要将一个stubdomain插入到kube-dns中，然后将其委派给example.com或CoreDNS。

apiVersion: v1
kind: ConfigMap
metadata:
  name: kube-dns
  namespace: kube-system
data:
  stubDomains: |
    {"example.com": ["10.20.20.20"]} ### ip of internal-dns.kube-system.svc.cluster.local.

该stubdomain可以使用DNS名称，internal-dns.kube-system.svc.cluster.local可以使用，但是由于bug in kube-dns (dnsmasq)，dnsmasq容器无法启动，并以CrashLoopBackOff结尾。

internal-dns.kube-system.svc.cluster.local是CoreDNS / internal-dns服务的名称。

dnsmasq错误：

I1115 17:19:20.506269       1 main.go:74] opts: {{/usr/sbin/dnsmasq [-k --cache-size=1000 --no-negcache --log-facility=- --server=/cluster.local/127.0.0.1#10053 --server=/in-addr.arpa/127.0.0.1#10053 --server=/ip6.arpa/127.0.0.1#10053] true} /etc/k8s/dns/dnsmasq-nanny 10000000000}
I1115 17:19:20.506570       1 sync.go:167] Updated stubDomains to map[example.com:[internal-dns.kube-system.svc.cluster.local]]
I1115 17:19:20.506734       1 nanny.go:94] Starting dnsmasq [-k --cache-size=1000 --no-negcache --log-facility=- --server=/cluster.local/127.0.0.1#10053 --server=/in-addr.arpa/127.0.0.1#10053 --server=/ip6.arpa/127.0.0.1#10053 --server /example.com/internal-dns.kube-system.svc.cluster.local]
I1115 17:19:20.507923       1 nanny.go:116]
I1115 17:19:20.507952       1 nanny.go:116] dnsmasq: bad command line options: bad address
I1115 17:19:20.507966       1 nanny.go:119]
W1115 17:19:20.507970       1 nanny.go:120] Got EOF from stderr
I1115 17:19:20.507978       1 nanny.go:119]
W1115 17:19:20.508079       1 nanny.go:120] Got EOF from stdout
F1115 17:19:20.508091       1 nanny.go:190] dnsmasq exited: exit status 1

在stubdomain中使用ip时dnsmasq成功：

I1115 17:24:18.499937       1 main.go:74] opts: {{/usr/sbin/dnsmasq [-k --cache-size=1000 --no-negcache --log-facility=- --server=/cluster.local/127.0.0.1#10053 --server=/in-addr.arpa/127.0.0.1#10053 --server=/ip6.arpa/127.0.0.1#10053] true} /etc/k8s/dns/dnsmasq-nanny 10000000000}
I1115 17:24:18.500605       1 sync.go:167] Updated stubDomains to map[example.com:[10.20.20.20]]
I1115 17:24:18.500668       1 nanny.go:94] Starting dnsmasq [-k --cache-size=1000 --no-negcache --log-facility=- --server=/cluster.local/127.0.0.1#10053 --server=/in-addr.arpa/127.0.0.1#10053 --server=/ip6.arpa/127.0.0.1#10053 --server /example.com/10.20.20.20]
I1115 17:24:18.850687       1 nanny.go:119]
W1115 17:24:18.850726       1 nanny.go:120] Got EOF from stdout
I1115 17:24:18.850748       1 nanny.go:116] dnsmasq[15]: started, version 2.78 cachesize 1000
I1115 17:24:18.850765       1 nanny.go:116] dnsmasq[15]: compile time options: IPv6 GNU-getopt no-DBus no-i18n no-IDN DHCP DHCPv6 no-Lua TFTP no-conntrack ipset auth no-DNSSEC loop-detect inotify
I1115 17:24:18.850773       1 nanny.go:116] dnsmasq[15]: using nameserver 10.20.20.20#53 for domain example.com
I1115 17:24:18.850777       1 nanny.go:116] dnsmasq[15]: using nameserver 127.0.0.1#10053 for domain ip6.arpa
I1115 17:24:18.850780       1 nanny.go:116] dnsmasq[15]: using nameserver 127.0.0.1#10053 for domain in-addr.arpa
I1115 17:24:18.850783       1 nanny.go:116] dnsmasq[15]: using nameserver 127.0.0.1#10053 for domain cluster.local
I1115 17:24:18.850788       1 nanny.go:116] dnsmasq[15]: reading /etc/resolv.conf
I1115 17:24:18.850791       1 nanny.go:116] dnsmasq[15]: using nameserver 10.20.20.20#53 for domain example.com
I1115 17:24:18.850796       1 nanny.go:116] dnsmasq[15]: using nameserver 127.0.0.1#10053 for domain ip6.arpa
I1115 17:24:18.850800       1 nanny.go:116] dnsmasq[15]: using nameserver 127.0.0.1#10053 for domain in-addr.arpa
I1115 17:24:18.850803       1 nanny.go:116] dnsmasq[15]: using nameserver 127.0.0.1#10053 for domain cluster.local
I1115 17:24:18.850850       1 nanny.go:116] dnsmasq[15]: read /etc/hosts - 7 addresses

GKE服务的自定义内部域

2 个答案: