Question

我正在使用 google spark-operator 和一些 calico 网络策略来保护命名空间。

Spark 驱动程序 Pod 需要能够与 kubernetes 命名空间中的 default 服务进行通信才能与 api-server 通信。
这就是我得到的：

Operation: [get]  for kind: [Pod]  with name: [xx]  in namespace: [xx]  failed.

问题在于：
使用任何类型的网络策略都会阻止与默认命名空间的通信。恢复连接是可能的，但选择 kubernetes.default 服务仍然是不可能的，因为它是一个特定的服务（没有选择器）......所以你不能与它通信！

我尝试打开与 default + kube-system 命名空间中的所有 Pod 的通信。它适用于所有服务除了 kubernetes.default 仍然无法访问！

apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: mynetpol
spec:
  selector: all()
  types:
    - Egress
  egress:

    # Allows comm to kube-system namespace
    - action: Allow
      destination:
        selector: all()
        namespaceSelector: ns == 'kube-system'
    - action: Allow
      source:
        selector: all()
        namespaceSelector: ns == 'kube-system'

   # Allows comm to default namespace
    - action: Allow
      destination:
        selector: all()
        namespaceSelector: ns == 'default'
    - action: Allow
      source:
        selector: all()
        namespaceSelector: ns == 'default'

由于某些原因，虽然所有通信都是开放的，但仍卷曲 kubernetes.default.svc.cluster.local:443 超时事件。

Answer 1

所以……最后……

网络策略不适用于不以 Pod 为目标的服务，这个特殊的 kubernetes 服务就是这种情况，它静静地坐在 default 命名空间中。这是一个始终指向 api-server 的特殊服务。

解决方案是检索 api-server 的真实 IP 并允许对其进行 egress-ing。

要查找此 IP，您可以使用以下命令：

kubectl get endpoints --namespace default kubernetes

由@Dave McNeill 提供

然后你可以在你的网络策略中允许这个 IP。

如果您使用的是默认的 netpol API，请查看 Dave 的回答 https://stackoverflow.com/a/56494510/5512455
如果您正在使用 calico 策略（我鼓励您这样做，因为 Kube 策略很糟糕），以下是可用的 yaml：

kind: NetworkPolicy
metadata:
  name: allow-egress-api-server
spec:
  selector: all()
  types:
    - Egress
  egress:

    # Allow api-server
    - action: Allow
      protocol: TCP
      destination:
        nets:
        - <Your api-server IP>/32
        ports:
        - 6443

Calico 的网络策略无法选择 kubernetes.default 服务

1 个答案: