处理hadoop copyFromLocal中的复制

Question

如何处理hadoop的copyFromLocal中的复制？ 如果复制因子是> gt，copyFromLocal会慢吗？与复制因子= 1相比时为1？

Answer 1

是的，我认为会慢一些。 copyFromLocal是一种写操作。当复制因子> 1，hdfs将设置一个管道，将数据从客户端写入管道上的datanode。只需将数据写入一个datanode就需要更多的时间。

有关写入的更多详细信息。转到The design document。