Spark工作者无法连接到Master

时间:2015-10-16 19:33:30

标签: apache-spark spark-streaming

启动工作节点时出现以下错误:

The graphical interface can be invoked with the epydocgui command, or with epydoc.pyw in the Scripts subdirectory of the Python installation directory under Windows.

我已将主机名添加到conf / slaves文件中。我不知道要在spark-env.sh中设置哪些环境变量,所以不要使用它。

任何指向解决方案的指针? 另外,如果我应该使用spark-env.sh那么我应该运行哪些环境vvariables?

设置详情: 2台ubuntu14机器,每台机器有2个核心。

请告知。

感谢

2 个答案:

答案 0 :(得分:0)

所以,经过一些修修补补后,我发现奴隶无法在给定的端口上与Master通信。我更改了安全访问规则并启用了所有端口上的所有TCP流量。这解决了这个问题。

检查端口是否已打开:

telnet master.ip master.port

默认端口为7077。

我的spark-env.sh:

export SPARK_WORKER_INSTANCES=2 export SPARK_MASTER_IP=<ip address>

答案 1 :(得分:0)

我担心你的主机名可能对Spark无效,而且你要改变你的spark-env.sh。

您可以将变量SPARK_MASTER_IP设置为master的真实ip,而不是其主机名。 例如

export SPARK_MASTER_IP=1.70.44.5

INSTEAD OF

export SPARK_MASTER_IP=ip-1-70-44-5