CentOS上的Hadoop伪分布式配置

Question

我可以在独立计算机上配置hadoop，现在尝试运行伪分布式hadoop配置，我按照this link进行了配置。

1. 我可以格式化名称节点
2. 但是当我触发bin / start-all.sh命令时，节点没有正确启动。
3. 当我浏览日志文件时，发现以下错误。

名称节点-hadoop2.log

  

java.io.IOException：文件/tmp/hadoop-root/mapred/system/jobtracker.info只能复制到0个节点，而不是org.apache.hadoop.hdfs.server中的1个节点。 namenode.FSNamesystem.getAdditionalBlock（FSNamesystem.java:1558）

的JobTracker-hadoop2.log

  

2013-05-10 11:36:09,959警告org.apache.hadoop.hdfs.DFSClient：DataStreamer异常：org.apache.hadoop.ipc.RemoteException：java.io.IOException：File / tmp / hadoop-root /mapred/system/jobtracker.info只能复制到0个节点，而不是1个

1. 我执行以下命令：

   bin / hadoop fs -put conf input

  

13/05/10 11:42:19错误hdfs.DFSClient：异常关闭文件/user/root/input/mapred-site.xml：org.apache.hadoop.ipc.RemoteException：java.io.IOException：文件/user/root/input/mapred-site.xml只能复制到0个节点，而不是1个

请告诉我除this link以外的任何其他配置。

感谢。

Answer 1

此错误表示您的datanode存在问题。确保它正在运行并且能够与namenode通信。还要确保在datanode磁盘上留有足够的空间。检查DN的保留空间（在dfs.datanode.du.reserved中设置）是否大于剩余可用空间。您也可能因权限而获得此消息，例如，如果JT无法在启动时创建jobtracker.info。

您可能会发现此link有用。我试图展示设置伪分布式集群的完整过程。看看它是否有帮助。