处于WAITING状态的Spark独立主HA作业

时间:2016-10-17 15:45:17

标签: apache-spark

我们正在尝试使用zookeeper在spark standalone master上设置HA。 我们有两个动物园管理员主机,我们也用于火花哈哈。

在spark-env.sh中配置以下内容

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk_server1:2181,zk_server2:2181"

开始两位大师。

启动shell并且作业状态为RUNNING。 master1处于ALIVE状态,master2处于STANDBY状态。 杀死了master1和master2,所有的工作人员都在master2中出现了。

已经运行的shell已移至新的master。但是,状态处于WAITING状态,执行程序处于LOADING状态。

工作日志和执行程序日志中没有错误,除了连接到新主服务器的通知。

我可以看到工作人员重新注册,但执行人似乎没有启动。有什么我想念的吗?

我的火花版本是1.5.0

0 个答案:

没有答案