Windows群集上的Spark程序失败,错误CreateProcess error = 5,Access被拒绝

时间:2016-09-06 15:16:28

标签: apache-spark

我正在尝试在Windows 10笔记本电脑上的Spark v2.0.0群集上执行程序。端口31080上有一个主节点,32080上有从节点。集群正在使用独立管理器,并使用JDK 1.8,并为从服务器提供自定义工作目录。

通过spark-submit或Eclipse>提交程序时运行程序,我得到以下错误,执行程序进入循环(创建一个新的执行程序,并连续失败)。请指导。

  

执行人员更新:app-20160906203653-0001 / 0现在正在运行

     

执行程序更新:app-20160906203653-0001 / 0现在失败(java.io.IOException:无法运行程序“”D:\ jdk1.8.0_101“\ bin \ java”

     

(在目录“D:\ spark-work \ app-20160906203653-0001 \ 0”中):

     

CreateProcess error = 5,拒绝访问)

     

Executor app-20160906203653-0001 / 0已删除:java.io.IOException:无法运行程序“”D:\ jdk1.8.0_101“\ bin \ java”(在目录中

     

“D:\ spark-work \ app-20160906203653-0001 \ 0”):CreateProcess error = 5,

     

访问被拒绝

     

删除请求的执行者0

1 个答案:

答案 0 :(得分:0)

得到了答案..我正在通过Windows批处理脚本启动我的主人和奴隶。这些是调用一个设置JAVA_HOME,SCALA_HOME和SPARK_HOME的env脚本。路径用双引号括起来。因此这个问题。删除双引号可解决问题...无需管理员权限或更改。