spark主日志包括以下内容:
15/05/19 21:05:19 INFO Remoting:Remoting开始了;听着 地址:[ akka.tcp://sparkMaster@mellyrn.local:7077 ]
但是工人无法连接:
15/05/19 21:27:13 INFO工人:连接到主人 akka.tcp://sparkMaster@mellyrn.local:7077 / user / Master ... 15/05/19 21:27:13 WARN Remoting:试图联系无法连接的遥控器 地址[ akka.tcp://sparkMaster@mellyrn.local:7077 ]。地址现在 门控5000毫秒,所有发送到此地址的消息将被传递到 死信。原因:连接被拒绝: mellyrn.local / 25.101.19.24:7077 15/05/19 21:27:25 INFO工人: 重试与master的连接(尝试#1)15/05/19 21:27:25 INFO 工人:连接到主人 akka.tcp://sparkMaster@mellyrn.local:7077 / user / Master ... 15/05/19 21:27:25 WARN Remoting:试图联系无法连接的遥控器 地址[akka.tcp://sparkMaster@mellyrn.local:7077]。地址现在 门控5000毫秒,所有发送到此地址的消息将被传递到 死信。原因:连接被拒绝: mellyrn.local / 25.101.19.24:7077
任何提示在这里尝试什么?
答案 0 :(得分:1)
检查您的文件conf/spark-defaults.conf
,将spark.master
设置为spark://mellyrn.local:7077
另外,请记住在没有密码的情况下配置ssh访问。
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
答案 1 :(得分:1)
这些错误似乎 断断续续 - 并且由于 主机当时完全内存不足 。关闭一些不相关的内存占用过程后,上述错误大多消失了。
在我希望了解的几十秒内,仍然存在 延迟实现主/工人协会 。
请注意,没有任何日志消息描述内存不足的情况。