Question

我一直试图找到如何使用spark 2.0.0增加Hadoop 2.7.2中hdfs的容量。

我读了这个link。

但我不明白。这是我的core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>hadoop_eco/hadoop/tmp</value>
  </property>

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://com1:9000</value>
  </property>
</configuration>

和hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>hadoop_eco/hadoop/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>hadoop_eco/hadoop/data</value>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
 </configuration>

当我使用1个namenode和10个datanode运行spark时，我收到此错误消息：

org.apache.hadoop.hdfs.StateChange：DIR * completeFile： /用户/火花/ _temporary / 0 / _temporary / attempt_201611141313_0001_m_000052_574 /部分-00052 由DFSClient_NONMAPREDUCE_1638755846_140
关闭

我无法识别此错误，但可能与磁盘容量不足有关。

我配置的容量（hdfs） 499.76GB ，每个datanode的容量 49.98GB 。

那么，有没有一种方法可以增加hdfs的容量？

Answer 1

我解决了。

更改hdfs的容量非常容易。

我尝试更改hdfs-site.xml

  <property>
     <name>dfs.datanode.data.dir</name>
     <value>file://"your directory path"</value>
  </property>

并使用此命令行

hadoop namenode -format stop-all.sh start-all.sh

最后使用hdfs dfsadmin -report

检查您的hdfs容量

如何在Hadoop 2.x中增加hdfs的容量

1 个答案: