独立集群上的spark-submit抱怨scala-2.10 jar不存在

时间:2017-07-25 03:57:38

标签: scala apache-spark apache-spark-standalone

我是Spark新手并从Apache下载了预编译的Spark二进制文件(Spark-2.1.0-bin-hadoop2.7)

提交我的scala(2.11.8)超级jar时,群集抛出错误:

java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built

我没有运行Scala 2.10而Spark没有使用Scala 2.10编译(尽我所知)

可能是我的一个依赖项是基于Scala 2.10吗? 有什么建议可能是错的吗?

2 个答案:

答案 0 :(得分:0)

请注意预先构建的spark-2.1.0有什么问题,但我刚刚下载了spark 2.2.0,它运行良好。

答案 1 :(得分:0)

尝试将SPARK_HOME ="位置设置为您的火花装置"在您的系统或IDE上