标签: hadoop hdfs amazon-emr
在AWS Elastic MapReduce集群上,如何将复制因子增加到大于1的数字?通常,有关如何在HDFS上执行此操作的问题表示您可以使用以下命令:
hadoop fs -setrep -R 3 input
将文件“ input”上的复制设置为3。但是,当我将其切换到主节点时,这似乎没有任何作用。
我有一个相对较小的数据集,可用于多个作业,因此从长远来看,将数据复制到每个数据节点上可以节省时间。