地图是100％然后下降到0％？

Question

我是MR的新人，但这似乎不应该发生。这是输出：

 11/12/07 13:24:42 INFO mapred.JobClient: Running job: job_201112071322_0001
 11/12/07 13:24:43 INFO mapred.JobClient:  map 0% reduce 0%
 11/12/07 13:24:57 INFO mapred.JobClient:  map 100% reduce 0%
 11/12/07 13:41:48 INFO mapred.JobClient:  map 100% reduce 16%
 11/12/07 13:42:18 INFO mapred.JobClient:  map 100% reduce 33%
 11/12/07 13:59:53 INFO mapred.JobClient:  map 100% reduce 0%
 11/12/07 14:00:04 INFO mapred.JobClient:  map 50% reduce 0%
 11/12/07 14:00:24 INFO mapred.JobClient:  map 0% reduce 0%

注意时间。它也只是坐在那里，并没有完成，或错误。我想象错误将在reducer中，所以我把它包括在内;如果其他代码是可疑的，我会发布它，只是问。

代码：http://pastebin.com/uuL1Cgx4

任何帮助都非常感谢！

Answer 1

我几天前遇到过类似的问题。达到100％后，我的映射器将降至0％。

最后我发现数据类型定义的map输出和reduce输入是不同的。因此，即使hadoop JobTracker重试这样做，map和reduce之间的copy / shuffle / merge数据流选项也不起作用。

希望它对你有用。