增加HDP 2.3 3节点集群中的HDFS磁盘大小

Question

在POC的3节点群集安装中，My 3rd note是DataNode，它的磁盘空间大约为200 GB。根据ambari的HDFS磁盘使用小部件，我目前的HDFS使用情况如下：

使用的DFS：512.8 MB（1.02％）; 非DFS使用8.1 GB（16.52％）; 剩余40.4GB（82.46％）

当我执行df -h检查磁盘大小时，我可以看到tmpfs占用了大量空间，如下面的屏幕截图所示：

如何将该空间用于我的HDFS。我的节点3有200 GB的硬盘空间

Answer 1

您可以安装tmpfs分区，例如：

sudo mount -t tmpfs -o size=32g tmpfs /mnt/dn-tmpfs/

然后，要在hdfs中使用此已安装的分区，您可以将其hdfs-site.xml配置为数据目录，例如

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/grid/0,/grid/1,/grid/2,[RAM_DISK]/mnt/dn-tmpfs</value>
</property>

有关详细信息，请参阅：Choosing tmpfs (vs ramfs)

编辑：我在ambari设置中看不到属性'datanode.data.dir'。如果需要，可以使用Ambari GUI添加它：

HDFS - ＆gt;配置 - ＆gt;自定义hdfs-site - ＆gt;添加属性......