Question

我在Ubuntu 14.04上安装了Hadoop 2.4，现在我正在尝试将内部sata HD添加到现有群集中。

我已将新的hd挂载到/ mnt / hadoop并将其所有权分配给hadoop用户

然后我尝试将其添加到配置文件中，如下所示：

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>

   <property>
       <name>dfs.name.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
   </property>

   <property>
       <name>dfs.data.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/datanode, file:///mnt/hadoop/hadoopdata/hdfs/datanode</value>
   </property>
</configuration>

之后，我开始了hdfs：

Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop-Datastore.out
localhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-hadoop-Datastore.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop-Datastore.out

似乎它没有启动第二个高清

这是我的core-site.xml

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

此外，我尝试刷新namenode并遇到连接问题：

Refreshing namenode [localhost:9000]
refreshNodes: Call From hadoop-Datastore/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Error: refresh of namenodes failed, see error messages above.

此外，我无法连接到Hadoop Web界面。似乎我有两个相关的问题：

 1) A connection problem
 2) I cannot connect to the new installed hd

这些问题有关吗？我该如何解决这些问题？

谢谢

修改

我可以ping本地主机，我可以访问localhost：50090 / status.jsp

但是，我无法访问50030和50070

Answer 1

<property>
   <name>dfs.name.dir</name>
   <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
</property>

记录为：

确定本地文件系统上DFS名称节点应存储名称表（fsimage）的位置。如果这是逗号分隔的目录列表，那么名称表将在所有目录中复制，以实现冗余。

你确定需要这个吗？您是否希望在两个位置复制fsimage以实现冗余？如果是的话，你是否真的在启动namenode之前在新硬盘上复制fsimage？请参阅Adding a new namenode data directory to an existing cluster。

新数据目录（dfs.data.dir）没问题，datanode应该将其拾起并开始使用它来放置块。

此外，作为一般故障排除建议，请查看namenode和datanode日志以获取更多线索。

Answer 2

关于你的评论：“sudo chown -R hadoop.hadoop / usr / local / hadoop_store。” 所有者必须是hdfs用户。尝试： sudo chown -R hdfs.hadoop / usr / local / hadoop_store。

如何将硬盘添加到hadoop

2 个答案: