dfs.block.size对TeraGen的性能没有影响

Question

我在hdfs-size.xml中将dfs.block.size从64MB更改为1MB，并运行teragen来探索对作业性能的影响。但是，地图任务的数量没有改变（我认为它应该变大，因为它与文件大小/块大小相等）。此外，完成工作所需的时间几乎相同。这是正常的吗？

Answer 1

TeraGen用于生成数据。所以基本上没有输入来为TeraSort生成数据。

所以基本上没有。在这种情况下，映射器的大小不受块大小的影响。