我正在尝试在Windows 10笔记本电脑上的Spark v2.0.0群集上执行程序。端口31080上有一个主节点,32080上有从节点。集群正在使用独立管理器,并使用JDK 1.8,并为从服务器提供自定义工作目录。
通过spark-submit或Eclipse>提交程序时运行程序,我得到以下错误,执行程序进入循环(创建一个新的执行程序,并连续失败)。请指导。
执行人员更新:app-20160906203653-0001 / 0现在正在运行
执行程序更新:app-20160906203653-0001 / 0现在失败(java.io.IOException:无法运行程序“”D:\ jdk1.8.0_101“\ bin \ java”
(在目录“D:\ spark-work \ app-20160906203653-0001 \ 0”中):
CreateProcess error = 5,拒绝访问)
Executor app-20160906203653-0001 / 0已删除:java.io.IOException:无法运行程序“”D:\ jdk1.8.0_101“\ bin \ java”(在目录中
“D:\ spark-work \ app-20160906203653-0001 \ 0”):CreateProcess error = 5,
访问被拒绝
删除请求的执行者0
答案 0 :(得分:0)
得到了答案..我正在通过Windows批处理脚本启动我的主人和奴隶。这些是调用一个设置JAVA_HOME,SCALA_HOME和SPARK_HOME的env脚本。路径用双引号括起来。因此这个问题。删除双引号可解决问题...无需管理员权限或更改。