apache spark 1.6+无法加载数据源libsvm的类

Question

我已经下载了apache spark 1.6.0 / 1.6.1的预编译版本，当我尝试时

     scala> val data = sqlContext.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

在我的火花壳中，我得到了

  

java.lang.ClassNotFoundException：无法加载数据类   来源：libsvm

我进行了stackover流搜索，我看到这个链接failed-to-load class libsvm表明它应该与1.6一起使用，但不知何故它对我不起作用，我需要做些什么来使这个工作？

Answer 1

我发现我将SPARK_HOME环境设置为旧版本，即使spark-shell是从正确的位置运行的，但是一旦你取消设置SPARK_HOME环境，它会尝试使用SPARK_HOME来加载某些库变量。现在工作正常

Answer 2

确保您在 sbt/pom 文件中包含了 mllib 依赖项。

libraryDependencies += "org.apache.spark" %% "spark-mllib" % sparkVersion