如何知道mapreduce程序中mapper的输入拆分数？

Question

在mapreduce程序

中将输入拆分添加到输出收集器之前，是否有任何方法可以知道输入拆分的数量？

我尝试使用以下代码

opCol.collect(new Text(Integer.toString(total)), new IntWritable(
                Count))

任何帮助都会受到赞赏。感谢。

Answer 1

如果您查看FileInputFormat课程的getSplits方法，则会将分割数设置为job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());

所以使用int splitCount = context.getConfiguration().get("mapreduce.input.fileinputformat.numinputfiles");

从您的映射器中获取