关于 Hadoop ,我通过以下方式安装了最新的快照:
$ git clone https://github.com/apache/hadoop.git
$ cd hadoop/
$ $ mvn package -Pdist,native -DskipTests -Dtar -Dprotobuf.version=2.6.0 -Dmaven.javadoc.skip=true
这很好。
关于 Spark ,我执行了以下操作:
$ git clone git://github.com/apache/spark.git
$ cd spark/
$ git fetch
$ git co branch-1.1
$ export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
$ mvn -Pyarn -Dhadoop.version=3.0.0-SNAPSHOT -DskipTests clean package
但这也很好地模拟了一些警告。
完成这些步骤后,我意识到我使用的是Java 8.虽然没有错误,但我重新编译了:
$ export JAVA_HOME=`/usr/libexec/java_home -v 1.7`
$ mvn -Pyarn -Phadoop-3.0 -Dhadoop.version=3.0.0-SNAPSHOT -Dyarn.version=3.0.0-SNAPSHOT -DskipTests clean package
这再次很好地模拟了一些警告。请注意,这次我添加了一些-P
个开关和一个-D
个开关。
所以,wrt。 http://goo.gl/b2ntsO,我对mvn
参数感到好奇:
-Pyarn
是否正确?-Phadoop-3.0
或-Phadoop-3.0.0-SNAPSHOT
[WARNING] The requested profile "hadoop-3.0" could not be activated because it does not exist.
-Dyarn.version
只是想事先确定我编辑的权利。