启动工作节点时出现以下错误:
The graphical interface can be invoked with the epydocgui command, or with epydoc.pyw in the Scripts subdirectory of the Python installation directory under Windows.
我已将主机名添加到conf / slaves文件中。我不知道要在spark-env.sh中设置哪些环境变量,所以不要使用它。
任何指向解决方案的指针? 另外,如果我应该使用spark-env.sh那么我应该运行哪些环境vvariables?
设置详情: 2台ubuntu14机器,每台机器有2个核心。
请告知。
感谢
答案 0 :(得分:0)
所以,经过一些修修补补后,我发现奴隶无法在给定的端口上与Master通信。我更改了安全访问规则并启用了所有端口上的所有TCP流量。这解决了这个问题。
检查端口是否已打开:
telnet master.ip master.port
默认端口为7077。
我的spark-env.sh:
export SPARK_WORKER_INSTANCES=2
export SPARK_MASTER_IP=<ip address>
答案 1 :(得分:0)
我担心你的主机名可能对Spark无效,而且你要改变你的spark-env.sh。
您可以将变量SPARK_MASTER_IP设置为master的真实ip,而不是其主机名。 例如
export SPARK_MASTER_IP=1.70.44.5
INSTEAD OF
export SPARK_MASTER_IP=ip-1-70-44-5