如何调试Spark连接问题?

时间:2018-09-03 12:11:07

标签: apache-spark cluster-computing connect

我们已经安装了包含4台具有RedHat分发功能的服务器的集群服务器。如果我们启动使用Python编程的典型程序,“ Helloword”将正常工作。

另一方面,我们已经在使用Windows 8开发的Sypder服务器上安装了Spark。安装在Windows中的此Spark指向指定主服务器IP的群集。

程序在群集中运行,但是该任务永无休止,并显示以下错误:“由以下原因引起:java.io.IOException:无法连接到... IP”

似乎集群执行了程序,但是无法将响应发送到我们从中开发并启动代码的Windows服务器。

我们进行了多次检查,但我们不知道如何检测故障:

  • Spark和Scala的所有版本在两个系统中都匹配。
  • 我们已将文件spark-defaults.conf和属性spark.driver.port配置为使用端口8080
  • 防火墙没有问题
  • 已执行嗅探器以控制网络的功能,并且信息可以在两个方向正确传播。

我们如何从这里开始确定问题的原因?

0 个答案:

没有答案