如果我们使用DistCp命令，块大小如何从Cluster1变为Cluster2？

Question

我正在处理＆＃34; DistCp＆＃34;命令将少量关键文件从My Cluster1移动到Cluster2。之前，这些关键文件驻留在Blocksize 64MB中。现在转移到Cluster2 [它有128MB的块大小）。

在DistCp移动之后，关键文件的性能如何随着Cluster2中的新块大小而增加。性能增加或减少.. ???

Answer 1

这取决于您的文件。 Hadoop文件应该按顺序读取，如果你的文件很大（让我们说Gbs或Tbs），如果增加你的块大小，它会提高性能，因为它会减少要执行的任务数量。使用Distcp进行复制将不会维护文件的块属性，因为块配置因群集而异。