我运行了一个包含20个节点的hadoop集群。
我经营繁重的工作，使用大量内存。 出于某种原因，似乎某些任务与工作“脱节”。 为什么会这样呢？
我的任务超时为600秒。而这些任务远不止于此。通过查看java进程我知道。
作业完成后，我仍然在运行地图缩小过程。
有没有人遇到过这样的问题？
答案 0 :(得分：0)
任务只有在600秒内没有进度报告时才会被杀死。只要有一些进展，任务就会继续。
这不应该发生。您确定这些流程来自您的工作吗？如果您重新启动相同的作业几次，如果您没有正确停止旧作业，仍可能会有一些挂起过程。