当HDFS数据节点有多个磁盘和块目录时,它的磁盘策略是什么?

时间:2016-05-25 23:46:16

标签: hdfs hadoop2

例如,我有两个磁盘/ dev / sda,/ dev / sdb,

设备和阻止目录的映射如下

/dev/sda   /data/1/dns/dn
/dev/sdb   /data/2/dns/dn

条件 /data/1/dns/dn有10M空间,/data/2/dns/dn有400GB。

关于HDFS策略的问题是:

  • 这两个目录是否应该存储不同的HDFS文件块?
  • /data/1/dns/dn的空间显然很小,HDFS会检测到并将块写入较大的空间吗?

1 个答案:

答案 0 :(得分:0)

我发现HDFS数据节点配置中存在两种算法:

  • 循环赛
  • 可用空间

我的选择是循环,当磁盘空间很小时,available space算法仍然适用。