如何停止运行任务并继续在hadoop集群中

Question

我正在测试“在运行hadoop任务时使用UPS关闭服务器”，我有两个问题。

1. 我想知道是否可以保存正在运行的任务，然后在重新启动后再次继续执行剩余的工作。 （在所有节点上）

2. 如果不支持“1”，那么在hadoop任务运行时开始关闭进程是否安全？或者，为了保护hadoop系统，我还有什么需要做的吗？ （簇？）

Answer 1

不，你不能保存＆＃34;处于中间状态的任务。如果在某些作业运行时关闭hadoop，最终可能会占用占用空间的废弃作业的中间数据。除此之外，您可以在作业运行时关闭系统。

Answer 2

截至目前，无法使用Hadoop保存正在运行的任务的状态。这将是一个非常困难的过程，因为所有的资源分配都是基于系统的当前负载而发生的，但是在重新启动整个集群之后，可能会有完全不同的工作负载，因此恢复状态是没有意义的。

回答您的第二个问题，Hadoop旨在容忍节点故障或访问文件和网络中断的临时问题。单个任务可能会失败，然后系统会在另一个节点上重新启动它们。从群集的角度来看，关闭节点是安全的，唯一要记住的是，作业最终会失败，并且需要在将群集恢复生机后重新提交它。使用电源开关关闭群集可能会出现一个问题，即临时文件无法清除。这通常不是一个主要问题。