无法使用Scala将Spark作业提交到纱线群集

Question

我正在尝试通过SparkSubmit类在我的本地Windows机器上的Scala应用程序上向远程Yarn集群提交spark作业，但是火花ResourceManager总是尝试连接到0.0.0.0。

val args = Array(
  "--master", "yarn",
  "--verbose",
  "--class",  "application-class",
  "--num-executors", "1",
  "--executor-cores", "1",
  "--executor-memory", "10g",
  "--deploy-mode", "cluster",
  "--driver-memory", "10g",
  "path-to-jar", "1")

SparkSubmit.main(args)

以下是错误

Failed to connect to server: 0.0.0.0/0.0.0.0:8032: retries get failed due to exceeded maximum allowed retries number: 10

当我尝试使用与Scala相同的参数通过命令提示符/ Windows shell提交spark作业时，它可以正常工作并将作业提交给集群。

我已在环境变量中HADOOP_CONF_DIR和YARN_CONF_DIR，而我的yarn-site.xml已使用远程IP定义了yarn.resourcemanager.address。

我在这里遗漏了什么吗？