在不同的hadoop节点上添加不同的文件

Question

使用

添加文件时

  

bin / hadoop dfs -put input_folder input

通过HDFS中的此命令。 当我们添加文件时，它们会被复制到所有节点。

我们可以通过哪种方式在不同的节点上分发不同的文件，意味着我有4个文件A，B，C，D。我将在节点1上添加文件A和B，并保留在节点2上。 这种情况可能吗？

如果是，那么在节点发生故障时会发生什么？

Answer 1

我假设您没有更改复制因子。默认值为3，表示每个文件有三个副本。如果您有2个数据节点，则所有文件都将复制到所有数据节点。降低此值直至满足您的需求。

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

如果节点出现故障且不存在其他副本，则无法访问这些文件