您好我使用带有zookeeper的Spark Standalone群集 在做spark提交之前，我需要从Spark-Cluster中找到领导节点。
我的问题是如何在所有spark-master节点中找到领导节点：
1＆GT;可以从Zookeeper中获取吗？
2 - ;是否有任何由spark-master公开的API来检查？
答案 0 :(得分：0)
首先，在Spark集群中没有领导者节点。有一个活动主机，一个或多个备用主机和一个或多个从机。其次，当您将任务提交给Spark时，您无需知道哪个是活动的主服务器。您可以提供所有Spark Masters ip，群集将处理所有事情。
但是，如果您仍然想查看此信息，最简单的方法是访问通常在端口8080上可用的Web ui。您可以通过查看Spark Master进程详细信息来检查Web ui端口：
library(forecast)
data("airmiles")
auto.arima(airmiles, stepwise = F,approximation = F)->arima_fit # fit an arima model with autoarima
forecast(arima_fit, h= 12 )->fc # forcast next 12 months
accuracy(fc) #check accuracy of your forecast
stefan 12682 1 15 09:50 pts / 1 00:00:04 / usr / lib / jvm / java-8-oracle / bin / java -cp / usr / local / spark / conf /：// usr / local / spark / jars / * -Xmx1g org.apache.spark.deploy.worker.Worker -webui-port 8081 spark：// spark-ip：7077
通过访问http://spark-ip:port处的Web ui，您将可以查看有关该主服务器的所有详细信息。如果要以json格式查看此数据，请在末尾添加ps -ef | grep spark
。