我正在研究一个在docker swarm上部署docker集群的用例。部署后,Spark集群运行正常。
问题在于Spark UI中的作业提交和导航。默认情况下,Spark会将自身绑定到主机Ip,即主机Docker容器IP地址。全体工人都以同样的方式。我已经打开了端口,因此可以使用OpenStack浮动IP地址访问主UI。 但是我无法直接从主UI提交作业或导航到其他工作人员页面。我尝试登录到spark主对象,然后以集群模式执行spark提交。该应用程序可以正常运行,这意味着群集中的内部通信正常运行。
所以我的问题更多是关于如何以一种火花UI可以完美工作的方式来管理swarm和OpenStack中的网络。