我正在尝试在Windows 7上手动启动spark(2.1.0)上的主节点,但该过程在设置之前挂起。
$ bin\spark-class org.apache.spark.deploy.master.Master
17/05/17 14:23:52 WARN NativeCodeLoader: Unable to load native-hadoop
library for your platform... using builtin-java classes where applicable
它无限期地停留在这里(超过10分钟)
我的Spark安装工作正常,否则,我已经使用pyspark在本地使用pyspark --master local [x]编写和运行脚本。我正在使用winutils,因为这是在独立模式下运行。
此外,我还有其他2台机器作为工作人员使用,当我对它们运行此命令时这些工作正常(设置接近即时)并且所有环境变量在这些工作程序上的设置与我的设置相同)主人。
答案 0 :(得分:0)
对于遇到此问题的其他人,我不知道原因,但在同一位置放置了新的火花下载解决了这个问题。