设置伪分布式/单节点设置Apache Hadoop 2.2

时间:2013-12-18 02:33:58

标签: hadoop mapreduce yarn

我已将Apache Hadoop 2.2安装为单节点群集。当我尝试执行giraph示例时,它最终会出现错误“LocalJobRunner,因为一次只有1个任务,所以无法在拆分主/工作模式下运行”。

我正在浏览论坛,我发现我可以更新mapred-site.xml以拥有4个映射器。我尝试了但仍然没有帮助。我遇到了另外一个论坛,我可以将单节点设置更改为伪分布式模式,并解决了问题。

有人可以告诉我,我需要更改哪些配置文件,以使单节点设置表现为伪分布式模式。

3 个答案:

答案 0 :(得分:0)

添加到renZzz答案,您还需要检查是否可以在没有密码短语的情况下ssh到localhost:

 $ ssh localhost

如果在没有密码短语的情况下无法ssh到localhost,请执行以下命令:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

以下链接可以帮助您 - https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/SingleNodeSetup.html

答案 1 :(得分:0)

对于我的第一次设置,我遵循了一些手册,但肯定是单节点设置的最佳手册,是pdf Apache Hadoop YARN_sample。我建议您逐步使用本手册

答案 2 :(得分:0)

首先,确保工人数量为一。然后,您需要配置Giraph不要通过以下方式拆分工作人员和主人:

giraph.SplitMasterWorker=false

您可以在giraph-site.xml中设置它,也可以通过命令传递 行选项:

 -ca giraph.SplitMasterWorker=false

价: https://www.mail-archive.com/user@giraph.apache.org/msg01631.html