我正在使用谷歌的容器引擎服务,并获得一个运行服务器的pod在端口3000上侦听。我设置了服务以将端口80连接到该容器的端口3000.我能够使用其本地和服务器卷曲服务。公共IP来自节点内部,但不是来自外部。我设置了防火墙规则以允许端口80并将其发送到节点,但我不断从网络外部获得“连接被拒绝”。我试图在没有转发规则的情况下这样做,因为只有一个pod,看起来转发规则需要花钱并进行负载平衡。我认为防火墙规则有效,因为当我将createExternalLoadBalancer: true
添加到服务规范时,转发规则创建的外部IP按预期工作。我还需要做点什么吗?设置路线或什么?
controller.yaml
kind: ReplicationController
apiVersion: v1beta3
metadata:
name: app-frontend
labels:
name: app-frontend
app: app
role: frontend
spec:
replicas: 1
selector:
name: app-frontend
template:
metadata:
labels:
name: app-frontend
app: app
role: frontend
spec:
containers:
- name: node-frontend
image: gcr.io/project_id/app-frontend
ports:
- name: app-frontend-port
containerPort: 3000
targetPort: 3000
protocol: TCP
service.yaml
kind: Service
apiVersion: v1beta3
metadata:
name: app-frontend-service
labels:
name: app-frontend-service
app: app
role: frontend
spec:
ports:
- port: 80
targetPort: app-frontend-port
protocol: TCP
publicIPs:
- 123.45.67.89
selector:
name: app-frontend
修改(其他详细信息):
创建此服务会添加这些在我运行iptables -L -t nat
Chain KUBE-PORTALS-CONTAINER (1 references)
target prot opt source destination
REDIRECT tcp -- anywhere 10.247.247.206 /* default/app-frontend-service: */ tcp dpt:http redir ports 56859
REDIRECT tcp -- anywhere 89.67.45.123.bc.googleusercontent.com /* default/app-frontend-service: */ tcp dpt:http redir ports 56859
Chain KUBE-PORTALS-HOST (1 references)
target prot opt source destination
DNAT tcp -- anywhere 10.247.247.206 /* default/app-frontend-service: */ tcp dpt:http to:10.241.69.28:56859
DNAT tcp -- anywhere 89.67.45.123.bc.googleusercontent.com /* default/app-frontend-service: */ tcp dpt:http to:10.241.69.28:56859
我不完全了解iptables,所以我不确定目标端口如何与我的服务匹配。我发现89.67.45.123.bc.googleusercontent.com
的DNS已解析为123.45.67.89
。
kubectl get services显示我指定的IP地址和端口:
NAME IP(S) PORT(S)
app-frontend-service 10.247.243.151 80/TCP
123.45.67.89
/var/log/kube-proxy.log中没有显示外部IP的最新内容
答案 0 :(得分:5)
TL; DR:使用节点的内部IP作为服务定义中的公共IP。
如果在kube-proxy上启用详细日志记录,您将看到它似乎正在创建相应的IP表规则:
I0602 04:07:32.046823 24360 roundrobin.go:98] LoadBalancerRR service "default/app-frontend-service:" did not exist, created
I0602 04:07:32.047153 24360 iptables.go:186] running iptables -A [KUBE-PORTALS-HOST -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 10.119.244.130/32 --dport 80 -j DNAT --to-destination 10.240.121.42:36970]
I0602 04:07:32.048446 24360 proxier.go:606] Opened iptables from-host portal for service "default/app-frontend-service:" on TCP 10.119.244.130:80
I0602 04:07:32.049525 24360 iptables.go:186] running iptables -C [KUBE-PORTALS-CONTAINER -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j REDIRECT --to-ports 36970]
I0602 04:07:32.050872 24360 iptables.go:186] running iptables -A [KUBE-PORTALS-CONTAINER -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j REDIRECT --to-ports 36970]
I0602 04:07:32.052247 24360 proxier.go:595] Opened iptables from-containers portal for service "default/app-frontend-service:" on TCP 23.251.156.36:80
I0602 04:07:32.053222 24360 iptables.go:186] running iptables -C [KUBE-PORTALS-HOST -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j DNAT --to-destination 10.240.121.42:36970]
I0602 04:07:32.054491 24360 iptables.go:186] running iptables -A [KUBE-PORTALS-HOST -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j DNAT --to-destination 10.240.121.42:36970]
I0602 04:07:32.055848 24360 proxier.go:606] Opened iptables from-host portal for service "default/app-frontend-service:" on TCP 23.251.156.36:80
使用-L -t
列出iptables条目,显示公共IP变为反向DNS名称,如下所示:
Chain KUBE-PORTALS-CONTAINER (1 references)
target prot opt source destination
REDIRECT tcp -- anywhere 10.119.240.2 /* default/kubernetes: */ tcp dpt:https redir ports 50353
REDIRECT tcp -- anywhere 10.119.240.1 /* default/kubernetes-ro: */ tcp dpt:http redir ports 54605
REDIRECT udp -- anywhere 10.119.240.10 /* default/kube-dns:dns */ udp dpt:domain redir ports 37723
REDIRECT tcp -- anywhere 10.119.240.10 /* default/kube-dns:dns-tcp */ tcp dpt:domain redir ports 50126
REDIRECT tcp -- anywhere 10.119.244.130 /* default/app-frontend-service: */ tcp dpt:http redir ports 36970
REDIRECT tcp -- anywhere 36.156.251.23.bc.googleusercontent.com /* default/app-frontend-service: */ tcp dpt:http redir ports 36970
但添加-n
选项会显示IP地址(默认情况下,-L
会对IP地址执行反向查找,这就是您看到DNS名称的原因):
Chain KUBE-PORTALS-CONTAINER (1 references)
target prot opt source destination
REDIRECT tcp -- 0.0.0.0/0 10.119.240.2 /* default/kubernetes: */ tcp dpt:443 redir ports 50353
REDIRECT tcp -- 0.0.0.0/0 10.119.240.1 /* default/kubernetes-ro: */ tcp dpt:80 redir ports 54605
REDIRECT udp -- 0.0.0.0/0 10.119.240.10 /* default/kube-dns:dns */ udp dpt:53 redir ports 37723
REDIRECT tcp -- 0.0.0.0/0 10.119.240.10 /* default/kube-dns:dns-tcp */ tcp dpt:53 redir ports 50126
REDIRECT tcp -- 0.0.0.0/0 10.119.244.130 /* default/app-frontend-service: */ tcp dpt:80 redir ports 36970
REDIRECT tcp -- 0.0.0.0/0 23.251.156.36 /* default/app-frontend-service: */ tcp dpt:80 redir ports 36970
此时,您可以使用内部和外部IP从群集中访问服务:
$ curl 10.119.244.130:80
app-frontend-5pl5s
$ curl 23.251.156.36:80
app-frontend-5pl5s
如果不添加防火墙规则,尝试远程连接到公共IP会超时。如果您添加防火墙规则,那么您将可靠地拒绝连接:
$ curl 23.251.156.36
curl: (7) Failed to connect to 23.251.156.36 port 80: Connection refused
如果您启用了一些iptables日志记录:
sudo iptables -t nat -I KUBE-PORTALS-CONTAINER -m tcp -p tcp --dport
80 -j LOG --log-prefix "WTF: "
然后grep dmesg
WTF
的输出显然,数据包到达VM的IP地址而不是已设置为公共的短暂外部IP地址服务上的IP。
事实证明,问题在于GCE有两种类型的外部IP:ForwardingRules(在DSTIP完整的情况下转发)和1对1 NAT(实际上将DSTIP重写为内部IP)。 VM的外部IP是后一种类型,因此当节点收到数据包时,IP表规则不匹配。
修复实际上非常简单(但不直观):使用节点的内部IP作为服务定义中的公共IP。更新service.yaml文件以将publicIP设置为内部IP(例如10.240.121.42
)后,您将能够从GCE网络外部访问您的应用程序。
答案 1 :(得分:0)
如果您将节点的外部IP地址添加到服务的publicIPs
字段,则应该可以在节点的IP地址访问它。如果您的群集有多个节点,如果您想要启用其中任何一个节点,则可以将多个IP地址放入该字段中。
在即将发布的版本中,将有一个更简单的内置选项,用于在没有负载均衡器的情况下设置外部服务。如果您在将来的某个时候感到好奇或阅读,请查看更新的"外部服务" this doc部分,了解您将如何使用NodePort
更轻松地完成同样的事情。
答案 2 :(得分:0)
@Robert Bailey的回答绝对正确。 publicIPs已在kubernetes 1.5.1中弃用,您可以使用externalIPs代替。
kubectl describe node | grep Address
Addresses: 10.119.244.130,101.192.150.200,gke-...
或者您可以在节点终端内运行ifconfig eth0
以获取内部IP
在service.yaml中设置ip
spec:
type: NodePort
externalIPs:
- 10.119.244.130
curl --resolve 'example.com:443:23.251.156.36' https://example.com -k