如何指定多个Spark Standalone主服务器（用于spark.master属性）？

Question

我有1个主人，3个工作节点与主人沟通。

作为灾难恢复，我们创建了2个大师，让动物园管理员选出主人。我正在使用datastax的spark Cassandra连接器。有没有办法传递多个Spark Master URL来连续尝试哪些成功。

this

Answer 1

tl; dr 使用逗号分隔host:port条目，例如spark://localhost:7077,localhost:17077

请注意，您应该避免硬编码连接详细信息，因为它们是操作的一部分，并且应该使用spark-submit的--master命令行选项进行定义：

$ ./bin/spark-submit --help

Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.

请参阅解析发生的relevant Spark code：

val masterUrls = sparkUrl.split(",").map("spark://" + _)

使用sparkUrl正则表达式匹配"""spark://(.*)""".r。