我已将Apache Hadoop 2.2安装为单节点群集。当我尝试执行giraph示例时,它最终会出现错误“LocalJobRunner,因为一次只有1个任务,所以无法在拆分主/工作模式下运行”。
我正在浏览论坛,我发现我可以更新mapred-site.xml以拥有4个映射器。我尝试了但仍然没有帮助。我遇到了另外一个论坛,我可以将单节点设置更改为伪分布式模式,并解决了问题。
有人可以告诉我,我需要更改哪些配置文件,以使单节点设置表现为伪分布式模式。
答案 0 :(得分:0)
添加到renZzz答案,您还需要检查是否可以在没有密码短语的情况下ssh到localhost:
$ ssh localhost
如果在没有密码短语的情况下无法ssh到localhost,请执行以下命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
以下链接可以帮助您 - https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/SingleNodeSetup.html
答案 1 :(得分:0)
对于我的第一次设置,我遵循了一些手册,但肯定是单节点设置的最佳手册,是pdf Apache Hadoop YARN_sample。我建议您逐步使用本手册
答案 2 :(得分:0)
首先,确保工人数量为一。然后,您需要配置Giraph不要通过以下方式拆分工作人员和主人:
giraph.SplitMasterWorker=false
您可以在giraph-site.xml中设置它,也可以通过命令传递 行选项:
-ca giraph.SplitMasterWorker=false
价: https://www.mail-archive.com/user@giraph.apache.org/msg01631.html