(Spark自动恢复)当被提交的作业崩溃时如何重新启动slave?

时间:2016-05-11 02:22:54

标签: apache-spark spark-streaming

我有一个问题想要求帮助。

我的火花结构:1个主人,2个奴隶。
我有一个流作业从主服务器部署到两个从服务器,然后一个执行程序运行此任务,另一个执行器挂起。

目标

由于我的工作经常遇到OOM问题,所以我希望我的奴隶接管来执行这项工作。

问题

当一个奴隶崩溃时,它的状态总是启动,所以我必须重新运行./start-slave.sh才能恢复它,但我认为这不是解决问题的聪明方法,所以

我想在被提交的作业崩溃时自动重新启动奴隶。

0 个答案:

没有答案