如何获取每个地图的输入数据大小或减少任务？

Question

我需要知道每个任务的输入数据大小。在hadoop中哪个班可以帮助我？ 是FileInputFormat.java有用吗？如何使用它？ 它需要一些输入，它们是什么？

Answer 1

整个任务的输入大小只是来自hdfs的输入文件的大小。

eack mapper任务的输入大小根据以下属性计算（64是默认大小）：

mapreduce.input.fileinputformat.split.minsize=64Mb

Hadoop将输入拆分为大小为split size的片段，等于：

max(mapred.min.split.size, min(mapred.max.split.size, dfs.block.size))

使用此属性获取输入的大小。