Spark无法处理错误“java.lang.UnsatisfiedLinkError:java.library.path中没有snappyjava”

时间:2015-01-18 10:56:40

标签: java scala sbt apache-spark snappy

我正在使用Spark 1.2.0的CDH4版本来提交使用sbt assembly构建的一堆Scala代码。

火花壳和火花提交都失败,错误如下。

java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
        at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
        at java.lang.Runtime.loadLibrary0(Runtime.java:823)
        at java.lang.System.loadLibrary(System.java:1028)

虽然我已将snappy包含在build.sbt中作为依赖项,如下所示,它也会被下载。

libraryDependencies ++= Seq(
  // Spark dependency
  "org.apache.spark" % "spark-core_2.10" % "1.2.0" % "provided",
  "org.xerial.snappy" % "snappy-java" % "1.0.5.4"
)

请提出建议,问题和解决方法是什么。

这是spark-submit命令

./ spark-submit --class org.cmls.SparkExamples.Spark_First /home/varun/SPARK/spark-1.2.0/assembly/target/scala-2.11/my-project-assembly.jar

0 个答案:

没有答案