获取添加到Hadoop MR作业的输入文件数

Question

如何获取作为对FileInputFormat.addInputPath和FileInputFormat.addInputPaths的调用的一部分添加的输入文件的数量。我正在尝试添加与某些模式匹配的输入文件，如果没有文件与模式匹配，并且没有此MR作业的输入文件，我想将消息记录给用户，而不是完全提交作业。

谢谢，

Venkat

Answer 1

FileInputFormat将数据存储在名为 mapred.input.dir 的Configuration变量中，因此您可以使用以下内容：

Configuration conf = job.getConfiguration();
String dirs = conf.get("mapred.input.dir");
String[] arrDirs = dirs.split(",");
int numDirs = arrDirs.length;

执行此操作的源代码的相关部分是：

conf.set("mapred.input.dir", dirs == null ? dirStr : dirs + "," + dirStr);