hadoop - 任务完成后任务继续运行

Question

我运行了一个包含20个节点的hadoop集群。

我经营繁重的工作，使用大量内存。 出于某种原因，似乎某些任务与工作“脱节”。 为什么会这样呢？

1. 我的任务超时为600秒。而这些任务远不止于此。通过查看java进程我知道。

2. 作业完成后，我仍然在运行地图缩小过程。

有没有人遇到过这样的问题？

Answer 1

1. 任务只有在600秒内没有进度报告时才会被杀死。只要有一些进展，任务就会继续。

2. 这不应该发生。您确定这些流程来自您的工作吗？如果您重新启动相同的作业几次，如果您没有正确停止旧作业，仍可能会有一些挂起过程。