我目前正在使用Mahout 0.13.0。当我尝试使用spark-itemsimilarity时,我收到一个错误:
线程“main”中的异常java.lang.NoClassDefFoundError:org / apache / spark / SparkConf
我怀疑它可能是Spark版本的一个问题,但我找不到我需要什么版本的Spark。我目前正在使用Spark 2.1.0。
所以我的问题是,哪个版本的Spark与Mahout 0.13.0兼容?
答案 0 :(得分:1)
在Spark 2.1 / Scala 2.11上没有Mahout 0.13.0的二进制文件,但是可以为Spark 2.1构建Mahout(遗憾的是没有配置文件,必须使用D开关完成所有操作)
构建您需要执行以下操作:
git clone http://github.com/apache/mahout
cd mahout
mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11
另外,帕特是正确的 - 很快就会发布,很快就会有二进制文件。
答案 1 :(得分:0)
我认为开发分支中有一个maven配置文件,用于构建Spark 2.x和Scala 2.11,但在一周左右的时间内没有发布任何工件,直到0.13.1。
它与两者兼容,只有太多的工件组合才能赶上。