我正在使用Spark 1.2.0的CDH4版本来提交使用sbt assembly
构建的一堆Scala代码。
火花壳和火花提交都失败,错误如下。
java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1028)
虽然我已将snappy包含在build.sbt中作为依赖项,如下所示,它也会被下载。
libraryDependencies ++= Seq(
// Spark dependency
"org.apache.spark" % "spark-core_2.10" % "1.2.0" % "provided",
"org.xerial.snappy" % "snappy-java" % "1.0.5.4"
)
请提出建议,问题和解决方法是什么。
这是spark-submit命令
./ spark-submit --class org.cmls.SparkExamples.Spark_First /home/varun/SPARK/spark-1.2.0/assembly/target/scala-2.11/my-project-assembly.jar