hadoop reducer是否有输入超时？

Question

我有一个hadoop工作，我正试图在8节点Windows HDP集群上运行。这项工作有超过137000个输入，它在大约3.5小时内处理84％到92％的地图任务。然后，reducer重新启动为0％并重新运行map任务。这项工作永远不会结束。

我的问题是，减速器是否有超时读取地图输出或dfs导致减速器重启的块？或者，如果减速器达到某种限制，它是否会产生错误信息，帮助我确定原因。我的第一个障碍是默认队列只允许100000个任务，但是工作错误地显示了一条消息。

我正在使用的hadoop版本是您使用Microsoft HDInsight获得的版本。它似乎是Windows的hadoop 1.1.0快照（适用于Windows的Hortonworks Data Platform 1.0.1开发人员预览版）。我设置属性为客户端任务提供8000mb的内存。由于jobtracker是从Windows服务启动的，因此无法确定虚拟机实际启动的内存量。

Answer 1

你在地图任务中使用了计数器吗？你的地图任务CPU是否密集？如果是，你需要使用计数器来确保Hadoop认为你的工作没有挂起，而是处理它。