我们正在尝试使用zookeeper在spark standalone master上设置HA。 我们有两个动物园管理员主机,我们也用于火花哈哈。
在spark-env.sh中配置以下内容
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk_server1:2181,zk_server2:2181"
开始两位大师。
启动shell并且作业状态为RUNNING。 master1处于ALIVE状态,master2处于STANDBY状态。 杀死了master1和master2,所有的工作人员都在master2中出现了。
已经运行的shell已移至新的master。但是,状态处于WAITING状态,执行程序处于LOADING状态。
工作日志和执行程序日志中没有错误,除了连接到新主服务器的通知。
我可以看到工作人员重新注册,但执行人似乎没有启动。有什么我想念的吗?
我的火花版本是1.5.0