以编程方式设置（远程）主地址以启动Spark

Question

请注意，以下 本地 设置可以工作：

sc = new SparkContext("local[8]", testName)

但是以编程方式设置 远程 主不起作用：

sc = new SparkContext(master, testName)

或（相同的最终结果）

val sconf = new SparkConf()
    .setAppName(testName)
    .setMaster(master)
sc = new SparkContext(sconf)

在后两种情况下，结果是：

[16:25:33,427][INFO ][AppClient$ClientActor] Connecting to master akka.tcp://sparkMaster@mellyrn:7077/user/Master...
[16:25:33,439][WARN ][ReliableDeliverySupervisor] Association with remote system [akka.tcp://sparkMaster@mellyrn:7077] 
has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

以下命令行方法一致地设置火花主机工作（在多个项目上验证）：

$SPARK_HOME/bin/spark-submit --master spark://mellyrn.local:7077 
   --class $1 $curdir/sparkclass.jar )

显然，还有一些与命令行spark-submit相关的其他配置。有人想要假设那可能是什么吗？

Answer 1

在下面的UNIX shell脚本中：

SP_MAST_URL = $CASSANDRA_HOME/dse client-tool spark master-address echo $ SP_MAST_URL

这将从Spark群集环境中打印主服务器。您可以尝试使用Spark提供的此命令实用程序，并将其传递给SPARK SUBMIT命令。

注意：CASSANDRA_HOME是完成Apache cassandra安装的路径。它可以是任何UNIX FILE路径，具体取决于每个环境。