Spark Standalone：TransportRequestHandler：调用RpcHandler时出错 - 在不同的机器/ VM上启动worker时

Question

我是全新的，所以请原谅明显的错误，如果有的话。

确切错误： 在奴隶： INFO TransportClientFactory：69 ms后成功创建与/10.2.10.128:7077的连接（在bootstraps中花费0毫秒） WARN Worker：无法连接到master 10.2.10.128:7077

师父： INFO大师：我当选了领导者！新州：ALIVE 错误TransportRequestHandler：在RPC上调用RpcHandler＃receive（）时出错＃7626954048526157749

小背景＆amp;我尝试/照顾过的事情：

• IMP：我是根据spark
的源代码构建的
• 免密码SSH
• 正确添加/ etc / hosts主机名
• 在主站和从站的spark-env.sh中正确设置（SPARK_MASTER_HOST，_PORT，CORES，INSTANCES等）
• conf / slaves具有正确的slave host-name
• 试图关闭双方的防火墙
• 使用＆＃39; nc＆＃39;
检查2与正确端口之间的连接
• 重新构建构建和测试

有没有人遇到类似的事情。感谢任何帮助，谢谢。

Answer 1

这是Noob的错误。

来自http://spark.apache.org/faq.html： 我是否需要Hadoop才能运行Spark？ 不，但如果您在群集上运行，则需要某种形式的共享文件系统（例如，NFS安装在每个节点上的相同路径上）。如果您有这种类型的文件系统，则可以在独立模式下部署Spark。

我没有设置NFS或启动Hadoop服务，因此导致失败。启动Hadoop服务可以解决独立模式本身的问题。