零从非零路径分裂

时间:2016-09-08 11:43:29

标签: hadoop mapreduce

我正在运行MapReduce作业(Voldemort BuildAndPush,但它可能没关系)我从非零输入路径得到0输入分割。我的知识来自以下部分日志:

  

16/09/08 11:16:19 INFO mapred.FileInputFormat:要处理的总输入路径:1099

     

16/09/08 11:16:19 INFO mapreduce.JobSubmitter:分裂数:0

我的文件不是空的。我想知道这种行为的原因是什么......

1 个答案:

答案 0 :(得分:0)

问题在于AvroInputFormat:

* By default, when pointed at a directory, this will silently skip over any
* files in it that do not have .avro extension. To instead include all files,
* set the avro.mapred.ignore.inputs.without.extension property to false.