Hadoop配置 - 群集

时间:2013-11-13 15:39:17

标签: java apache hadoop configuration cluster-computing

对于Hadoop文件core-site.xml和mapred-site.xml的正确设置是什么? 因为我正在尝试运行hadoop但是出现以下错误:

启动secondarynamenode,登录到/ opt / hadoop / hadoop-1.2.1 / libexec /../ logs / hadoop-hadoop-secondarynamenode -lbad012.out

lbad012:线程“main”中的异常java.lang.IllegalArgumentException:不包含有效的host:port authority:file:/ / /

lbad012:at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)

lbad012:at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:212)

lbad012:at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:244)

lbad012:at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:236)

lbad012:at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:194)

lbad012:at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode。 (SecondaryNameNode.java:150)

lbad012:at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:676)

1 个答案:

答案 0 :(得分:0)

你没有指定你正在使用哪个版本的hadoop,或者你是否正在使用CDH(cloudera的hadoop发行版)

您也没有指定是否要在伪分布式,单节点或分布式群集设置中运行。这些选项专门设置在您提到的文件中(核心站点和映射站点)

Hadoop非常挑剔,所以在提出与hadoop相关的问题时,这些细节很重要。

由于你没有指定以上任何一项,我猜你是初学者 - 在这种情况下this guide应该帮助你(并告诉你核心站点和mapred-site应该是什么样子在伪分布式配置中)

无论如何,Hadoop为他们上传的几乎所有版本的hadoop都有一个“快速入门”指南,所以找一个与你正在寻找的版本和设置相关的版本,它应该相当容易。