Hadoop：即使空间可用，HDFS群集也会耗尽空间

Question

我们有4个datanode HDFS集群...每个数据节点上有大量可用空间大约98gb ...但是当我查看datanode信息时......它只使用大约10gb并运行空间......

如何让它使用所有98gb并且不会耗尽图片中所示的空间

这是磁盘空间配置

这是名称节点上的hdfs-site.xml

<property>
        <name>dfs.name.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/namenode</value>
 </property>

这是数据节点

下的hdfs-site.xml

<property>
        <name>dfs.data.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/datanode</value>
 </property>

Eventhough / test有98GB，hdfs配置使用它不使用它

在进行配置更改时我是否遗漏了任何内容？我们如何确保使用98GB？

Answer 1

根据this Hortonworks Community Portal link，修改数据节点目录的步骤如下：

  

  
1. 停止群集。
  
2. 转到ambari HDFS配置并编辑datanode目录配置：Remove / hadoop / hdfs / data和/ hadoop / hdfs / data1。添加[new directory location]。
  
3. 登录每个datanode（通过SSH）并将/ data和/ data1的内容复制到新目录中。
  
4. 将新目录的所有权及其下的所有内容更改为“hdfs”。
  
5. 启动群集。
  

我假设您在技术上已经达到了第2步，因为您在原始问题中显示了正确配置的core-site.xml文件。确保您已完成其他步骤，并且已停止所有Hadoop服务。从那里，将所有权更改为运行Hadoop的用户（通常是hdf，但我已经在root运行Hadoop进程的地方工作），你应该好好去：）