我正在运行MapReduce作业(Voldemort BuildAndPush,但它可能没关系)我从非零输入路径得到0输入分割。我的知识来自以下部分日志:
16/09/08 11:16:19 INFO mapred.FileInputFormat:要处理的总输入路径:1099
16/09/08 11:16:19 INFO mapreduce.JobSubmitter:分裂数:0
我的文件不是空的。我想知道这种行为的原因是什么......
答案 0 :(得分:0)
问题在于AvroInputFormat:
* By default, when pointed at a directory, this will silently skip over any
* files in it that do not have .avro extension. To instead include all files,
* set the avro.mapred.ignore.inputs.without.extension property to false.