是否可以针对Hadoop 2.5.1构建Apache Spark

时间:2014-09-25 04:29:21

标签: maven hadoop apache-spark

用maven编译Hadoop 2.5.1之后     hadoop版本     Hadoop 2.5.1,我尝试使用以下命令编译apache spark:

mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.1 -Pdeb -DskipTests clean package

但显然没有2.5个档案。

我的问题是:我该怎么办?

  1. 重建hadoop 2.4
  2. 或使用个人资料2.4
  3. 编译spark
  4. 或任何其他解决方案?

2 个答案:

答案 0 :(得分:1)

在海报询问之后看起来有人问这个问题:

http://apache-spark-user-list.1001560.n3.nabble.com/Spark-1-1-0-with-Hadoop-2-5-0-td15827.html

" hadoop-2.4配置文件实际上是" Hadoop 2.4 +"。它 据我所知,应该编译并运行Hadoop 2.5。 CDH 5.2 是Hadoop 2.5 + Spark 1.1,因此有证据证明它有效。"

答案 1 :(得分:0)

只需更改配置文件名称即可。 谢谢答案。