Spark创建的master_status znode中未更新活动主服务器的IP和mtime

时间:2019-05-22 13:54:38

标签: apache-spark apache-zookeeper distributed-system znodes

我已使用

为HA配置了Spark

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zkServer1:2181,zkServer2:2181,zkServer3:2181"

因此,它在Zookeeper中创建了两个znode master_statusleader_electionmaster_status保留活动主服务器的信息,它的子级包含正在运行的工作程序并激发应用程序信息。

enter image description here

现在我遇到的问题是您看到的IP 10.10.3.72不是当前活动主服务器的ip。尽管子znode包含 纠正正在运行的工作人员和spark应用程序的信息。此外,您可以看到,mtime在2018年4月4日之后仍未更新,尽管活动母版已在2018年4月4日之后转移。

我正在使用spark-2.2.1zookeeer-3.3.6

0 个答案:

没有答案