Hadoop 3.0.0-SNAPSHOT和Spark 1.1.0

时间:2014-10-22 13:14:49

标签: hadoop apache-spark

关于 Hadoop ,我通过以下方式安装了最新的快照:

$ git clone https://github.com/apache/hadoop.git 
$ cd hadoop/
$ $ mvn package -Pdist,native -DskipTests -Dtar -Dprotobuf.version=2.6.0 -Dmaven.javadoc.skip=true

这很好。

关于 Spark ,我执行了以下操作:

$ git clone git://github.com/apache/spark.git
$ cd spark/
$ git fetch
$ git co branch-1.1
$ export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
$ mvn -Pyarn -Dhadoop.version=3.0.0-SNAPSHOT -DskipTests clean package

但这也很好地模拟了一些警告。

完成这些步骤后,我意识到我使用的是Java 8.虽然没有错误,但我重新编译了:

$ export JAVA_HOME=`/usr/libexec/java_home -v 1.7`
$ mvn -Pyarn -Phadoop-3.0 -Dhadoop.version=3.0.0-SNAPSHOT -Dyarn.version=3.0.0-SNAPSHOT -DskipTests clean package

这再次很好地模拟了一些警告。请注意,这次我添加了一些-P个开关和一个-D个开关。

所以,wrt。 http://goo.gl/b2ntsO,我对mvn参数感到好奇:

  • -Pyarn是否正确?
  • 我是否必须添加-Phadoop-3.0-Phadoop-3.0.0-SNAPSHOT
    • 答案:这两个参数都不起作用,但会产生以下警告:[WARNING] The requested profile "hadoop-3.0" could not be activated because it does not exist.
  • 我是否必须添加-Dyarn.version

只是想事先确定我编辑的权利。

0 个答案:

没有答案