Hadoop - 映射器输出超出块大小

Question

我们将dfs.blocksize设置为512MB，用于其中一个map reduce作业，这是一个仅限地图的作业。但是，一些映射器输出超过512 MB。例如：512.9 MB。

我相信，映射器块大小应该受到dfs.blocksize的限制。感谢任何输入。感谢

Answer 1

Mappers不会将其输出保存在HDFS中 - 它们使用常规文件系统来保存结果 - 这样做是为了不在HDFS集群中的服务器上复制临时数据。因此，HDFS块大小与映射器不一致＆＃39;输出文件大小。

Answer 2

  

我相信，映射器块大小应该受到限制   dfs.blocksize。

事实并非如此。文件可能大于块大小。在这种情况下，它们只会跨越多个块。