多节点hadoop群集配置

时间:2016-04-04 13:52:32

标签: hadoop2

我是Hadoop集群的新手,并试图在ubuntu 15.10上部署一个多节点集群,其中包含一个主服务器和两个从服务器。配置完成后,有两个活动节点(两个从站)。但是,当我尝试下面的hadoop示例程序时

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 3 100

我收到connection refused的错误:

  

作业job_1459774851310_0001因状态失败而失败,原因是:由于错误启动appattempt_1459774851310_0001_000002,应用程序application_1459774851310_0001失败了2次。异常:java.net.ConnectException:调用从ubuntu / 127.0.1.1到ubuntu:36380在连接异常时失败:java.net.ConnectException:Connection refused;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused

要部署此群集,我在所有计算机中禁用了ipv6,并编辑了配置文件,如下所示:

在档案core-site.xml中:

fs.defaultFS = hdfs://master:8020

在档案hdfs-site.xml中:

dfs.namenode.name.dir = $HADOOP_PREFIX/namenode
dfs.datanode.data.dir = $HADOOP_PREFIX/datanode

在档案yarn-site.xml中:

yarn.resourcemanager.address = master:8084
yarn.resourcemanager.schedular.address = master:8085
yarn.resourcemanager.resource-tracker.address = master:8086
yarn.resourcemanager.admin.address = master:8087
yarn.resourcemanager.webapp.address = master:8088
yarn.nodemanager.aux-services = mapreduce_shuffle

在档案mapred_site.xml

mapreduce.framework.name = yarn
mapreduce.jobhistory.address = master:10020
mapreduce.jobhistory.address = master:19888

这4个文件在所有机器上都是相同的。

我在哪里犯错?如何解决?

在文件slaves中,我只写了两个奴隶的IP地址。

0 个答案:

没有答案