我了解到giraph-dist-1.2.0-hadoop2-bin.tar.gz二进制发行版是使用以下maven命令构建的,并且它由hadoop-2.5.1正式支持。
“ mvn -Phadoop_2全新安装”
我成功地在hadoop-2.5.1上以伪分布式模式使用了giraph-dist-1.2.0-hadoop2-bin.tar.gz,在其中配置了yarn。
现在,我下载了giraph-dist-1.2.0-hadoop2-src.tar.gz,并使用来自Building Giraph with Hadoop的命令和补丁(即:
)成功地构建了带有纱线支持的giraph。“ mvn -Phadoop_yarn -Dhadoop.version = 2.5.1干净的程序包-DskipTests”
由于我已经在Hadoop 2.5.1中配置了yarn,所以我不明白是否要在Hadoop 2.5.1配置中更改有关mapred-site.xml和yarn-site.xml的内容以及必须使用什么,才能使用giraph与纱线支撑?
我认为主要问题是:用-Phadoop_2构建的giraph和用-Phadoop_yarn构建的giraph对Hadoop使用的影响是什么?
我找到的唯一文档是以下文档:
Apache Hadoop 2(最新版本:2.5.1)
这是Giraph可以使用的最新版本的Hadoop 2(除MapReduce之外还支持YARN)。您可能会告诉Maven使用此版本 和“ mvn -Phadoop_2”。