hadoop:更改特定块而不是文件的复制因子

时间:2017-05-27 14:32:53

标签: hadoop replication-factor

是否可以更改文件特定块的复制因子,而不是更改文件的所有块?

我是Hadoop的新手,但我知道我们可以通过

更改文件的复制因子
1.hadoop fs -setrep -w -R replication_factor file_name

2.using the setReplication() 

2 个答案:

答案 0 :(得分:0)

不,这是不可能的。您只能更改文件,目录或块的复制。

Source

答案 1 :(得分:0)

如果我们知道了解需要复制的块元数据(信息)的机制,那么Replication的{​​{1}}是可能的。

由于将输入数据划分为块并且分配是一个动态过程,并且block中块位置的存储不是静态的,因此不可能仅复制一个块(因为该块永远无法确定)

即使我们定义了自己的机制来从Namenode中存储的元数据中识别块位置,该算法也只对该特定输入有用。

所以我猜你的要求在当前状态下是不可能的。