在Elastic MapReduce集群上设置复制因子

时间:2019-03-10 01:50:26

标签: hadoop hdfs amazon-emr

在AWS Elastic MapReduce集群上,如何将复制因子增加到大于1的数字?通常,有关如何在HDFS上执行此操作的问题表示您可以使用以下命令:

hadoop fs -setrep -R 3 input

将文件“ input”上的复制设置为3。但是,当我将其切换到主节点时,这似乎没有任何作用。

我有一个相对较小的数据集,可用于多个作业,因此从长远来看,将数据复制到每个数据节点上可以节省时间。

0 个答案:

没有答案