ZooKeeper对裂脑情景的内部行为

时间:2014-01-27 12:16:41

标签: apache-zookeeper

我试图理解Apache ZooKeeper在裂脑情况下的内部工作原理。假设有一个由5个服务器组成的集群:A,B,C,D和E,其中A是领导者。现在假设子集群{A,B}与子集群{C,D,E}分离。

在这种情况下,子集群{C,D,E}可以选出新的领导者并且可以取得进展。另一方面,{A,B}无法取得进展,因为没有大多数节点可以确认更新。

我想知道:

  1. 老领导A会怎么样?我希望它失去领导力,但这是怎么发生的?活跃的领导者会定期检查以确保其拥有大多数粉丝?

  2. 连接到A和B的客户端会发生什么?它们是否会自动重定向到仍然可以取得进展的服务器之一(C,D或E)。或者更确切地说,他们被A或B困住,直到裂脑情况得到治愈并且整个集群重新连接?

  3. 谢谢, 加布里埃尔

2 个答案:

答案 0 :(得分:9)

在尝试使用本地群集后,我想我已经找到了行为。

我启动了一个包含5个节点的本地群集,然后删除了2个节点。其余3个节点仍然占多数,因此群集已启动并运行。我此时连接了一个客户端。

然后我取下了另一台服务器,此时其余两个节点无法维持群集的运行。

1)在其余两个节点之一(恰好是领导者)的日志中,我可以看到:

  

[myid:5] - 警告   [RecvWorker:3:QuorumCnxManager $ RecvWorker @ 762] - 连接断开   id 3,my id = 5,error = java.io.EOFException           at java.io.DataInputStream.readInt(DataInputStream.java:392)           在org.apache.zookeeper.server.quorum.QuorumCnxManager $ RecvWorker.run(QuorumCnxManager.java:747)

以后

  

[myid:5] - 信息   [QuorumPeer [myid = 5] /127.0.0.1:2185:FastLeaderElection@740] - 新的   选举。我的id = 5,建议zxid = 0x300000002

所以似乎节点正在主动监视连接并对丢弃的连接作出反应(在这种情况下尝试选择另一个领导者)。

2)在已连接客户端的日志中,我可以看到:

  

[myid:] - INFO   [main-SendThread(localhost:2185):ClientCnxn $ SendThread @ 966] - 开幕   套接字连接到服务器localhost / 127.0.0.1:2185。不会尝试   使用SASL进行身份验证(未知错误)

     

[myid:] - INFO   [main-SendThread(localhost:2185):ClientCnxn $ SendThread @ 849] - 套接字   建立到localhost / 127.0.0.1:2185的连接,启动   会话

     

[myid:] - INFO   [main-SendThread(localhost:2185):ClientCnxn $ SendThread @ 1085] - 无法使用   从服务器sessionid 0x343d9a80f220000读取其他数据,   可能服务器已关闭套接字,关闭套接字连接和   尝试重新连接

因此,节点关闭了客户端打开的连接,因为群集已关闭。

在这种情况下,整个群集都已关闭,因此客户端不断尝试连接到其中一个节点,没有运气。但我认为,在分裂脑情况下,当大多数人仍然在某个地方运行时,客户端最终将能够连接到它(当然,它具有网络连接)。

答案 1 :(得分:1)

根据论文ZAB https://marcoserafini.github.io/papers/zab.pdf,这是Zookeeper使用的基础原子广播协议。选举由两种情况触发。一种,超时后关注者无法与领导者联系。第二,当领导者意识到自己没有法定支持,而领导者意识到自己试图提交提案时。

返回到您具有的方案。当{C,D,E}中的一个节点意识到领导者不在时,它触发选举。一旦选出新的领导者,它将开始正常服务于客户请求。另一个分区的群集{A,B}将不满足任何客户端请求,并且将在解决分区之前停留在选举中。解决后,将举行一次最终选举,整个集群现在将再次正常运行。