手动启动Windows上的主节点时,Spark挂起/失败

时间:2017-05-17 13:29:59

标签: windows apache-spark windows-7 pyspark

我正在尝试在Windows 7上手动启动spark(2.1.0)上的主节点,但该过程在设置之前挂起。

$ bin\spark-class org.apache.spark.deploy.master.Master
17/05/17 14:23:52 WARN NativeCodeLoader: Unable to load native-hadoop 
library for your platform... using builtin-java classes where applicable

它无限期地停留在这里(超过10分钟)

我的Spark安装工作正常,否则,我已经使用pyspark在本地使用pyspark --master local [x]编写和运行脚本。我正在使用winutils,因为这是在独立模式下运行。

此外,我还有其他2台机器作为工作人员使用,当我对它们运行此命令时这些工作正常(设置接近即时)并且所有环境变量在这些工作程序上的设置与我的设置相同)主人。

1 个答案:

答案 0 :(得分:0)

对于遇到此问题的其他人,我不知道原因,但在同一位置放置了新的火花下载解决了这个问题。