Hadoop集群。数据在群集数据节点上自动复制

Question

1. 在Hadoop集群中，数据是自动复制到数据节点还是必须编程？

2. 如果必须编程，那我该怎么办呢？

Answer 1

1. dfs.replication的默认值为3.这存在于hdfs.site.xml配置文件中。这意味着当您设置hadoop集群时，它会自动配置为每个块复制三次。

2. 可以使用以下方式进行更改：

   • 您可以更改dfs.replication中hdfs-site.xml的值，并将其设置为您想要的整数（1表示没有副本）

   • 您可以使用setrep命令将复制因子作为每个文件的值传递：

     hadoop fs -setrep -w 3 /user/hadoop/file.txt

     这将复制file.txt 3次。