AWS EMR-如何扩展hdfs容量

时间:2018-06-19 11:59:19

标签: hadoop hdfs emr amazon-emr datanode

我们的集群运行的dfs容量很小,有2个核心节点,需要增加。

我向核心节点实例添加了500GB的新卷,并将其安装到/ mnt1上,并更新了主节点和核心节点中的hdfs-site.xml。

  <property>
    <name>dfs.datanode.dir</name>
    <value>/mnt/hdfs,/mnt/hdfs1</value>
  </property>

然后,我重新启动了hadoop-hdfs-namenode和hadoop-hdfs-datanode服务。但是由于新的卷,datanode正在关闭。

  

2018-06-19 11:25:05,484致命   org.apache.hadoop.hdfs.server.datanode.DataNode(DataNode:[ip到60-10--]的心跳信号[[[DISK] file:/ mnt / hdfs /,[DISK] file:/ mnt / hdfs1]] 232.ap-south-1.compute.internal / 10.60.12.232:8020):初始化   块池(未分配Datanode Uuid)服务失败   到ip-10-60-12-232.ap-south-1.compute.internal / 10.60.12.232:8020。
  正在退出。   org.apache.hadoop.util.DiskChecker $ DiskErrorException:太多失败   卷-当前有效卷:1,已配置的卷:2,卷   失败:1,可容忍的卷失败:0

搜索时,我发现人们建议格式化namenode,以便将块池ID分配给两个卷。我该如何解决这个问题?

0 个答案:

没有答案