我正在尝试使用3个Ubuntu计算机中的Apache Spark 1.4.1设置集群(名为cloud-server-3到5)。我之前使用Spark创建了自己的集群,但这次我似乎无法让它运行。
我为每台机器做了以下事情。
现在问题开始了。 我可以在每台机器上创建主机和从机,并且可以通过使用其名称,IP或仅本地主机在同一台机器中创建主机和从机并连接它们。但我无法连接不同的机器。
最奇怪的是,如果我将我的奴隶放在conf / slaves文件中并运行start-all.sh,我想要主人,那么主人就可以启动另一台机器上的工作人员,但工人可以' t连接回主人。我一直在云服务器3中获取主服务器,在cloud-server-5中获取服务器
“15/08/20 18:48:01 INFO工作者:连接到掌握akka.tcp:// sparkMaster @ cloud-server-3:7077 / user / Master ...
15/08/20 18:48:01 WARN Remoting:尝试与无法访问的远程地址关联[akka.tcp:// sparkMaster @ cloud-server-3:7077]。地址现在被封闭了5000毫秒,所有发送到此地址的消息都将被传递给死信“
我尝试禁用防火墙,确认机器可以相互ping通,确认我可以在没有密码的情况下SSH每台机器并编辑/ etc / hosts并添加每台机器的IP和名称。你们有什么想法吗?