是否可以让来自多个数据中心的节点加入同一个Spark群集？

Question

我正在运行Datastax Enterprise群集（GossipingPropertyFileSnitch）。我有两个数据中心，Analytics和Cassandra。 Analytics个节点形成Spark群集。我正在考虑合并两个集群以更好地利用资源。

当我在我的/etc/dse/default节点上启用Spark（在Cassandra中）时，我得到一个新的主节点，看起来这些节点没有像Analytics节点那样加入同一个Spark集群。我可以以某种方式使Cassandra数据中心节点加入Analytics Spark群集吗？

Answer 1

因为您正在使用GossipingPropertyFileSnitch，所以您还必须更改新Spark节点所在的DC。否则它们将继续位于所谓的“Cassandra”数据中心。

编辑： 对标题问题的简短回答是“不”。单独的DC被分配了单独的火花主控器，并且不共享火花作业的资源。