我已使用
为HA配置了Spark SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zkServer1:2181,zkServer2:2181,zkServer3:2181"
因此,它在Zookeeper中创建了两个znode master_status和leader_election。 master_status
保留活动主服务器的信息,它的子级包含正在运行的工作程序并激发应用程序信息。
现在我遇到的问题是您看到的IP 10.10.3.72
不是当前活动主服务器的ip。尽管子znode包含
纠正正在运行的工作人员和spark应用程序的信息。此外,您可以看到,mtime
在2018年4月4日之后仍未更新,尽管活动母版已在2018年4月4日之后转移。
我正在使用spark-2.2.1
和zookeeer-3.3.6