我根据这个例子在Kubernetes上调出了Spark:https://github.com/kubernetes/kubernetes/tree/master/examples/spark
出于某种原因,我在让主人在:7077
上侦听来自工作节点的连接时遇到了问题。似乎连接不是从服务代理的。如果我启动服务,然后将主控制器与$SPARK_MASTER_IP
设置为spark-master,它会正确解析为服务IP但无法绑定端口。如果我将ip设置为localhost,它会绑定本地端口并出现--
,因为服务应该将套接字连接转发到pod端点,这应该没问题,所以我们继续前进。
现在我培养工人。他们尝试连接到:7077
上的服务IP,但不能。似乎与服务的连接并没有使它到达端点。除了...
我还在示例中配置了webui服务。如果我使用kubectl --proxy连接到它,我可以通过webui服务点击来自spark-master的:8080
服务的网络服务。然而port 7077
上几乎相同配置的火花主服务却没有给予爱。如果我将主服务器配置为绑定本地IP,它会出现,但不会从服务获得连接。如果我将其配置为通过服务进行绑定,则绑定会失败并且根本无法启动。
我对于为什么会发生这种情况感到失望--
感谢任何帮助。我很乐意根据要求提供更多的调试信息。
答案 0 :(得分:2)
对不起,Spark的例子在很多方面被破坏了。
问题: https://github.com/kubernetes/kubernetes/issues/17463
现在,截至2016年2月25日,它正在通过我们的连续测试,至少在HEAD(以及下一个Kubernetes 1.2版本)上通过。
请注意,DNS是必需的,但默认情况下会在许多云提供程序实施中设置,包括GCE和GKE。