Question

我正在尝试通过在主机上运行的CNTLM代理所有传出的kubernetes通信。

一点点背景：目前，我正在尝试在VM上设置kubernetes集群，以用作项目的快速部署解决方案。遗憾的是，所有不在公司网络中的出站流量都必须通过NTLM进行身份验证。在运行kubernetes集群的主机上，cntlm服务器在端口3128上运行。

所以我要实现的是将所有来自Pod的流量重定向到host：3128。我想到的是以下想法：

修改主机的iptables以重新路由流量。这对于没有kubernetes的基于docker的容器来说效果很好。（请参见https://hub.docker.com/r/ncarlier/redsocks/）。使用该容器，您可以定义代理，还可以定义白名单，该白名单不应应用于代理。 kubernetes也可以吗？
另一个想法是启动一个Pod，其他Pod的所有流量都将路由到该Pod。并且此吊舱充当CNTLM代理。不确定是否可以。

机器设置：

SLE12 SP2
通过kubeadm的Kubernetes（Tut：https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/）
网络附加组件：运河

Kubernetes在没有外部访问权限的网络中按预期工作。

感谢您的帮助：）

更新：

我已经尝试过像Artem Golenyaev提到的那样：

编辑docker代理中的内容以使用代理。（重新加载+重新启动完成）
编辑.bashrc +采购以应用代理-

.bashrc

的内容

export http_proxy=http://d050alapi138:3128
export HTTP_PROXY=$http_proxy
export https_proxy=$http_proxy
export HTTPS_PROXY=$http_proxy
printf -v lan '%s,' 53.190.251.237
printf -v service '%s,' 10.96.0.{1..253}
printf -v pool '%s,' 192.168.0.{1..253}
export no_proxy="${lan%,},${service%,},${pool%,},127.0.0.1";
export NO_PROXY=$no_proxy

/etc/systemd/system/docker.service.d/http-proxy.conf的内容：

[Service]
Environment="HTTP_PROXY=http://d050alapi138:3128" "NO_PROXY=localhost,d050alapi138"

/etc/systemd/system/docker.service.d/https-proxy.conf的内容：

[Service]
Environment="HTTPS_PROXY=http://d050alapi138:3128" "NO_PROXY=localhost,d050alapi138"

测试代理在bash中工作：

d050alapi138:~ # curl google.de
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.de/">here</A>.
</BODY></HTML>

现在用于创建集群的脚本：

kubeadm init --apiserver-advertise-address=53.190.251.237 --service-cidr=10.96.0.0/16 --pod-network-cidr=192.168.0.0/24

export KUBECONFIG=/etc/kubernetes/admin.conf

kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

kubectl taint nodes --all node-role.kubernetes.io/master-

该节点启动，我可以部署ymls等等，当我尝试测试Pod内的Internet连接时：

d050alapi138:~ # kubectl run my-shell2 --rm -i --tty --image ubuntu -- bash
If you don't see a command prompt, try pressing enter.
root@my-shell2-66df6fcdf4-4jhc8:/# apt-get update
0% [Connecting to archive.ubuntu.com (2001:67c:1360:8001::21)] [Connecting to security.ubuntu.com (2001:67c:1560:8001::11)]^C

它不起作用。首先，当我手动在容器内设置代理环境时，它会起作用

root@my-shell2-66df6fcdf4-4jhc8:/# export http_proxy=http://d050alapi138:3128
root@my-shell2-66df6fcdf4-4jhc8:/# export https_proxy=$http_proxy
root@my-shell2-66df6fcdf4-4jhc8:/# apt-get update
Get:1 http://archive.ubuntu.com/ubuntu bionic InRelease [242 kB]
Get:2 http://archive.ubuntu.com/ubuntu bionic-updates InRelease [88.7 kB]
Get:3 http://archive.ubuntu.com/ubuntu bionic-backports InRelease [74.6 kB]
Get:4 http://archive.ubuntu.com/ubuntu bionic/universe Sources [11.5 MB]
0% [3 InRelease gpgv 74.6 kB] [4 Sources 0 B/11.5 MB 0%] [Waiting for headers]^C

也许这有助于理解我的问题。

Answer 1

您可以尝试使用称为“公司代理后面的Kubernetes”的通用解决方案。

首先，您需要在所有节点上向Docker添加代理设置，以允许其下载映像。用以下几行创建或修改/etc/systemd/system/docker.service.d/http-proxy.conf文件（当然，在下面的示例中，您需要更改地址，端口和网络）：

对于HTTP代理：

[Service]    
Environment="HTTP_PROXY=<http://proxy.example.com>:<proxy_port>/" "NO_PROXY=localhost,127.0.0.1,<docker-registry.somecorporation.com>"

用于HTTPS代理

[Service]    
Environment="HTTPS_PROXY=<https://proxy.example.com>:<proxy_port>/" "NO_PROXY=localhost,127.0.0.1,<docker-registry.somecorporation.com>"

然后，您需要重新启动Docker守护程序：

systemctl daemon-reload
systemctl restart docker

第二，您需要将所有节点上的代理设置添加到.bashrc中，以将所需的流量从这些节点转发到代理。这是示例：

export http_proxy=<http://proxy.example.com>:<proxy_port>/
export HTTP_PROXY=$http_proxy
export https_proxy=<https://proxy.example.com>:<proxy_port>/
export HTTPS_PROXY=$http_proxy
printf -v lan '%s,' localip_of_machine 
printf -v pool '%s,' 192.168.0.{1..253}
printf -v service '%s,' 10.96.0.{1..253}
export no_proxy="${lan%,},${service%,},${pool%,},127.0.0.1";
export NO_PROXY=$no_proxy

此外，您需要对http_proxy，https_proxy和no_proxy使用自己的设置。

有关更多信息，您可以访问以下链接：

Answer 2

在 /etc/systemd/system/docker.service.d/http-proxy.conf 中设置代理，是 Docker 的代理设置。

您需要为内部运行的容器设置代理。正如您所提到的，在容器内导出 http 代理后，连接有效。

您需要在 home 目录内创建，以便它会自动导出容器内的 http 代理。

~/.docker/config.json
{
        "proxies": {
                "default": {
                        "httpProxy": "<http://proxy.example.com>:<proxy_port>",
                        "httpsProxy": "<https://proxy.example.com>:<proxy_port>",
                        "noProxy": "${lan%,},${service%,},${pool%,},127.0.0.1"
                }
        }
}

代理kubernetes通过代理（CNTLM）传出流量

2 个答案: