工作者无法连接到同一台计算机上的主服务器(无效关联) - 即使网址是正确的

时间:2015-05-20 04:20:43

标签: apache-spark

spark主日志包括以下内容:

  

15/05/19 21:05:19 INFO Remoting:Remoting开始了;听着   地址:[ akka.tcp://sparkMaster@mellyrn.local:7077 ]

但是工人无法连接:

  

15/05/19 21:27:13 INFO工人:连接到主人   akka.tcp://sparkMaster@mellyrn.local:7077 / user / Master ... 15/05/19   21:27:13 WARN Remoting:试图联系无法连接的遥控器   地址[ akka.tcp://sparkMaster@mellyrn.local:7077 ]。地址现在   门控5000毫秒,所有发送到此地址的消息将被传递到   死信。原因:连接被拒绝:   mellyrn.local / 25.101.19.24:7077 15/05/19 21:27:25 INFO工人:   重试与master的连接(尝试#1)15/05/19 21:27:25 INFO   工人:连接到主人   akka.tcp://sparkMaster@mellyrn.local:7077 / user / Master ... 15/05/19   21:27:25 WARN Remoting:试图联系无法连接的遥控器   地址[akka.tcp://sparkMaster@mellyrn.local:7077]。地址现在   门控5000毫秒,所有发送到此地址的消息将被传递到   死信。原因:连接被拒绝:   mellyrn.local / 25.101.19.24:7077

任何提示在这里尝试什么?

2 个答案:

答案 0 :(得分:1)

检查您的文件conf/spark-defaults.conf,将spark.master设置为spark://mellyrn.local:7077

另外,请记住在没有密码的情况下配置ssh访问。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

答案 1 :(得分:1)

这些错误似乎 断断续续 - 并且由于 主机当时完全内存不足 。关闭一些不相关的内存占用过程后,上述错误大多消失了。

在我希望了解的几十秒内,仍然存在 延迟实现主/工人协会

请注意,没有任何日志消息描述内存不足的情况。