用-Phadoop_2构建的giraph和用-Phadoop_yarn构建的giraph对hadoop的使用有什么变化?

时间:2018-08-28 19:09:34

标签: hadoop yarn giraph

我了解到giraph-dist-1.2.0-hadoop2-bin.tar.gz二进制发行版是使用以下maven命令构建的,并且它由hadoop-2.5.1正式支持。

“ mvn -Phadoop_2全新安装”

我成功地在hadoop-2.5.1上以伪分布式模式使用了giraph-dist-1.2.0-hadoop2-bin.tar.gz,在其中配置了yarn。

现在,我下载了giraph-dist-1.2.0-hadoop2-src.tar.gz,并使用来自Building Giraph with Hadoop的命令和补丁(即:

)成功地构建了带有纱线支持的giraph。

“ mvn -Phadoop_yarn -Dhadoop.version = 2.5.1干净的程序包-DskipTests”

由于我已经在Hadoop 2.5.1中配置了yarn,所以我不明白是否要在Hadoop 2.5.1配置中更改有关mapred-site.xml和yarn-site.xml的内容以及必须使用什么,才能使用giraph与纱线支撑?

我认为主要问题是:用-Phadoop_2构建的giraph和用-Phadoop_yarn构建的giraph对Hadoop使用的影响是什么?

我找到的唯一文档是以下文档:

  • Apache Hadoop 2(最新版本:2.5.1)

    这是Giraph可以使用的最新版本的Hadoop 2(除MapReduce之外还支持YARN)。您可能会告诉Maven使用此版本 和“ mvn -Phadoop_2”。

0 个答案:

没有答案