故障转移后,Zookeeper存储中的Spark主节点ip未更新

时间:2016-09-15 08:15:50

标签: apache-spark apache-zookeeper high-availability

我们正在研究多节点集群中的spark HA设置。我们已经看到,经过火花机的支持变成了#34; Alive" master的zookeeper数据存储没有更新,它仍然有旧的机器ip地址,我们想到构建一个应用程序,它将使用这个信息并在典型的HA设置中返回当前的master,但是由于Zookeeper中的这个bug,我们无法构建该应用程序。像zookeeper一样有数据: -

[zk: localhost:2181(CONNECTED) 2] get /sparkha/master_status
10.49.1.112
cZxid = 0x10000007f
ctime = Wed Sep 14 23:52:52 PDT 2016
mZxid = 0x10000007f
mtime = Wed Sep 14 23:52:52 PDT 2016
pZxid = 0x10000007f
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 0

故障转移后,ip应该更改为新的机器ip。我们想知道这是一个错误还是我们遗失了什么? 我们了解spark-damon.sh状态,但我们更关注ZK商店。 感谢

0 个答案:

没有答案