执行程序在Spark独立部署中失败

时间:2017-10-05 12:09:09

标签: apache-spark apache-spark-standalone

我在我的本地Windows机器上运行spark。当我将master设置为本地时它工作得很好但是当我给它一个集群主uri时,它会为它启动的每个执行器抛出以下异常。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)

我在本地尝试了spark独立环境。所以我已经启动了主节点和工作节点,并将主URL提供给我的驱动程序。我确保我的SPARK_HOME环境变量设置为C:\Spark(我放置火花的位置)。

任何帮助解决这个问题将不胜感激,谢谢。

1 个答案:

答案 0 :(得分:0)

我设法找到了解决这个问题的方法。问题是由spark home的路径变量引起的,当我添加路径变量SPARK_HOME时,它没有选择%SPARK_HOME%\bin(环境变量)。然后我删除了该环境变量和路径变量,再次添加它们并重新启动我的系统。它工作了。