火花：错误应用程序已被杀死。原因：所有主机均无响应

Question

在尝试在名为\n\n的Spark集群中运行应用程序时遇到问题（当然，我已经检查了配置文件中的名称）。

我一直在使用以下命令运行该应用程序：

mymaster

但是问题是我没有意识到我的代码在驱动程序中包含以下几行：

spark-submit --master spark://mymaster:7077 ...

所以我想删除val master = parameters.getOrElse("master", "local[*]") val conf = new SparkConf().setAppName("myApp").setMaster(master) val sc = new SparkContext(conf) 部分，因为我认为“这是不必要的”。我做到了，并遇到以下错误：

.setMaster(master)

https://stackoverflow.com/a/36197126/9759150在这里说：

  

直接在SparkConf上设置的属性具有最高优先级，然后将标志传递到spark-submit或spark-shell，然后是spark-defaults.conf文件中的选项。

但是，如果我尝试只放这个：

ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
ERROR spark.SparkContext: Error initializing SparkContext.

我得到同样的错误。

有什么想法吗？

Answer 1

问题不在于代码。

建议不要使用.setMaster(aMaster)来设置主服务器，而要使用--master aMaster来设置星空外壳。

但是错误消息是由于Spark集群在那一时刻关闭了。