我是Spark新手并从Apache下载了预编译的Spark二进制文件(Spark-2.1.0-bin-hadoop2.7)
提交我的scala(2.11.8)超级jar时,群集抛出错误:
java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built
我没有运行Scala 2.10而Spark没有使用Scala 2.10编译(尽我所知)
可能是我的一个依赖项是基于Scala 2.10吗? 有什么建议可能是错的吗?
答案 0 :(得分:0)
请注意预先构建的spark-2.1.0有什么问题,但我刚刚下载了spark 2.2.0,它运行良好。
答案 1 :(得分:0)
尝试将SPARK_HOME ="位置设置为您的火花装置"在您的系统或IDE上