如何将任务重新分配到Hadoop?

时间:2018-12-03 09:00:28

标签: java hadoop task variable-assignment

与在Hadoop中一样,如果任务失败,它将分配给另一个节点,如何将任务重新分配给另一个节点? 当任务分配到特定节点(我想要的节点,例如节点1)时,我想进入MapReduce程序,该任务将被重新分配(例如,节点2)。如何做这项工作?有想法吗?

(我正在使用Hadoop 2.9.0)

1 个答案:

答案 0 :(得分:0)

如果使用节点标签,则只能将任务分配给另一个节点或一组节点。 Hadoop设计为可在许多节点上运行(对于大多数用户而言,该节点为20至500个节点),因此您的用例不是正常操作所涵盖的用例。如果您真的想追求这一点,则有两种选择:

  • 使用容量调度和节点标签
  • 编写一个自定义的Application Master,以便您可以控制要向其启动容器的节点管理器。

参考文献