独立集群上的spark-submit抱怨scala-2.10 jar不存在

Question

我是Spark新手并从Apache下载了预编译的Spark二进制文件（Spark-2.1.0-bin-hadoop2.7）

提交我的scala（2.11.8）超级jar时，群集抛出错误：

java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built

我没有运行Scala 2.10而Spark没有使用Scala 2.10编译（尽我所知）

可能是我的一个依赖项是基于Scala 2.10吗？ 有什么建议可能是错的吗？

Answer 1

请注意预先构建的spark-2.1.0有什么问题，但我刚刚下载了spark 2.2.0，它运行良好。

Answer 2

尝试将SPARK_HOME =＆＃34;位置设置为您的火花装置＆＃34;在您的系统或IDE上