Mahout和Spark版本的兼容性

时间:2017-05-18 07:31:59

标签: apache-spark version mahout

我目前正在使用Mahout 0.13.0。当我尝试使用spark-itemsimilarity时,我收到一个错误:

线程“main”中的异常java.lang.NoClassDefFoundError:org / apache / spark / SparkConf

我怀疑它可能是Spark版本的一个问题,但我找不到我需要什么版本的Spark。我目前正在使用Spark 2.1.0。

所以我的问题是,哪个版本的Spark与Mahout 0.13.0兼容?

2 个答案:

答案 0 :(得分:1)

在Spark 2.1 / Scala 2.11上没有Mahout 0.13.0的二进制文件,但是可以为Spark 2.1构建Mahout(遗憾的是没有配置文件,必须使用D开关完成所有操作)

构建您需要执行以下操作:

git clone http://github.com/apache/mahout

cd mahout

mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11

另外,帕特是正确的 - 很快就会发布,很快就会有二进制文件。

答案 1 :(得分:0)

我认为开发分支中有一个maven配置文件,用于构建Spark 2.x和Scala 2.11,但在一周左右的时间内没有发布任何工件,直到0.13.1。

它与两者兼容,只有太多的工件组合才能赶上。