如何在Datastax Enterprise集群中选出Spark master？

Question

如何在Datastax Enterprise群集中选出Spark主服务器？我查看了/etc/dse/dse-env.sh和/etc/dse/spark/spark-defaults.conf以及/etc/dse/spark/spark-env.sh中的配置。但我找不到任何这些地方？

在我们的集群上，Spark master在重启服务后继续从一个节点移动到另一个节点？

Answer 1

在DSE 4.6中，Spark Master / Hadoop作业跟踪器（始终在同一节点上）由循环算法确定，并存储在jobtracker表中。这可能会在将来的版本中发生变化。

您可以使用以下方法查看当前母版的内容：

dsetool listjt

如果已配置，则输出当前主设备和备用主设备。

要配置保留主控使用：

dsetool reservejt

输出可能如下所示：

 $ dsetool listjt DC                             JobTracker   
 --                             --            
 Analytics-Analytics            192.168.101.122 
 ------ Reserve-JT = 192.168.101.121