我是Hadoop集群的新手,并试图在ubuntu 15.10上部署一个多节点集群,其中包含一个主服务器和两个从服务器。配置完成后,有两个活动节点(两个从站)。但是,当我尝试下面的hadoop示例程序时
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 3 100
我收到connection refused
的错误:
作业job_1459774851310_0001因状态失败而失败,原因是:由于错误启动appattempt_1459774851310_0001_000002,应用程序application_1459774851310_0001失败了2次。异常:java.net.ConnectException:调用从ubuntu / 127.0.1.1到ubuntu:36380在连接异常时失败:java.net.ConnectException:Connection refused;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused
要部署此群集,我在所有计算机中禁用了ipv6,并编辑了配置文件,如下所示:
在档案core-site.xml
中:
fs.defaultFS = hdfs://master:8020
在档案hdfs-site.xml
中:
dfs.namenode.name.dir = $HADOOP_PREFIX/namenode
dfs.datanode.data.dir = $HADOOP_PREFIX/datanode
在档案yarn-site.xml
中:
yarn.resourcemanager.address = master:8084
yarn.resourcemanager.schedular.address = master:8085
yarn.resourcemanager.resource-tracker.address = master:8086
yarn.resourcemanager.admin.address = master:8087
yarn.resourcemanager.webapp.address = master:8088
yarn.nodemanager.aux-services = mapreduce_shuffle
在档案mapred_site.xml
mapreduce.framework.name = yarn
mapreduce.jobhistory.address = master:10020
mapreduce.jobhistory.address = master:19888
这4个文件在所有机器上都是相同的。
我在哪里犯错?如何解决?
在文件slaves
中,我只写了两个奴隶的IP地址。