当运行hadoop作业时，我注意到有时已完成任务的数量会减少，并且已取消任务的数量会增加。
这怎么可能？为什么会这样？
答案 0 :(得分：2)
当我们的群集处于一个奇怪的状态时，我才会遇到这种情况，所以我不确定这是否是同一个问题。基本上，map任务将完成，然后reducers将启动...然后将重新处理映射器。
我认为问题在于映射器输出在该数据节点上挂起，等待Reducer接收它。如果该节点有问题或者它已经死亡，JobTracker会决定它需要再次重新运行该任务，即使它已经完成。我们的问题是我们NameNode所使用的系统存在一些非Hadoop相关问题，一旦这些问题得到解决，它似乎就会消失。
很抱歉，如果我的经历与您的问题无关。也许，你能发布更多细节吗？你看到任何错误信息吗？你的JobTracker或NameNode日志中有什么奇怪的东西吗？