连接到托管在 Kubernetes 中的 OpenVPN 服务器时无法访问 k8s 服务

时间:2021-03-13 22:38:22

标签: kubernetes routes iptables openvpn cilium

我有一个使用 this image 托管在 Kubernetes 中的 OpenVPN 服务器。 在出现下面描述的问题之前,当我连接到 VPN 时,我能够访问集群内的互联网和 k8s 服务(使用服务 IP)。

但是,自从我从 Kubernetes 1.20.2 升级到 1.20.4 后,我无法再访问服务。我不知道我的云提供商(Scaleway Kapsule)是否利用 Kubernetes 更新来更改网络配置。

当我连接到 VPN 时,我可以使用它们自己的 IP 地址访问 Pod,但不能通过服务 IP。

请参阅下面的 OpenVPN 服务器 pod 中的流量转储:

    openvpn-gateway-server-udp-7c5b9f974-5q9kb.46704 > freshrss.default.svc.cluster.local.80: Flags [S], cksum 0x2a3d (correct), seq 1924827453, win 64240, options [mss 1207,nop,nop,sackOK,nop,wscale 7], length 0
    0x0000:  4500 0034 833c 4000 3d06 2260 6440 01e8  E..4.<@.=."`d@..
    0x0010:  0a2f 27d1 b670 0050 72ba 893d 0000 0000  ./'..p.Pr..=....
    0x0020:  8002 faf0 2a3d 0000 0204 04b7 0101 0402  ....*=..........
    0x0030:  0103 0307                                ....
22:12:04.890277 IP (tos 0x0, ttl 63, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    100-64-1-197.freshrss.default.svc.cluster.local.80 > openvpn-gateway-server-udp-7c5b9f974-5q9kb.46704: Flags [S.], cksum 0xcc53 (incorrect -> 0xf70c), seq 200470512, ack 1924827454, win 64860, options [mss 1410,nop,nop,sackOK,nop,wscale 7], length 0
    0x0000:  4500 0034 0000 4000 3f06 6f97 6440 01c5  E..4..@.?.o.d@..
    0x0010:  6440 01e8 0050 b670 0bf2 eff0 72ba 893e  d@...P.p....r..>
    0x0020:  8012 fd5c cc53 0000 0204 0582 0101 0402  ...\.S..........
    0x0030:  0103 0307                                ....
22:12:04.890292 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 40)
    openvpn-gateway-server-udp-7c5b9f974-5q9kb.46704 > 100-64-1-197.freshrss.default.svc.cluster.local.80: Flags [R], cksum 0x30fa (correct), seq 1924827454, win 0, length 0
    0x0000:  4500 0028 0000 4000 4006 6ea3 6440 01e8  E..(..@.@.n.d@..
    0x0010:  6440 01c5 b670 0050 72ba 893e 0000 0000  d@...p.Pr..>....
    0x0020:  5004 0000 30fa 0000                      P...0...
  1. TCP SYN 到服务 IP。数据包看起来正确伪装(pod IP,而不是 VPN 客户端 IP)
  2. 来自服务所针对的一个 Pod 的应答 (SYN-ACK)(即由服务选择器匹配)
  3. OpenVPN pod 使用 RST 拒绝数据包

openvpn-gateway-server-udp-7c5b9f974-5q9kb pod 我可以毫无问题地到达 freshrss.default.svc.cluster.local:80(例如使用 curl)。

所以这个问题似乎只存在于来自 VPN 的数据包。 数据包被伪装(见 run.sh

答案来自与初始目的地(服务 IP)不同的 IP(pod IP),但我认为这最近没有改变,所以如果这是问题的根源,那就太令人惊讶了。

有什么想法吗?

谢谢

编辑:可能与 this issue 有关,因为底层操作系统具有 systemd 245.4-4ubuntu3.2 (Ubuntu 20.04.1)

EDIT 通过升级到 1.20.6 解决。我无法找到根本原因,无论是 Kubernetes 还是 Scaleway 节点映像。

0 个答案:

没有答案