Question

我使用此repository和相对的README.md文件创建了一个Spark Cluster。

现在我试图通过spark-submit将一个作业执行到Spark Master的docker容器中，所以我使用的命令是类似的：

/path/bin/spark-submit --class uk.ac.ncl.NGS_SparkGATK.Pipeline \
--master spark://spark-master:7077 NGS-SparkGATK.jar HelloWorld

现在的问题是我收到了Failed to connect to master spark-master:7077

我尝试了任何组合：容器IP，容器ID，容器名称，localhost，0.0.0.0,127.0.0.1但我总是收到相同的错误。

如果我使用--master local[*]该应用程序有效。

我失踪了什么？

Answer 1

问题是使用主题名为spark：// spark-master：7077

所以在Spark Master里面是这样的：

SPARK_MASTER_HOST=`hostname`

/path/bin/spark-submit --class uk.ac.ncl.NGS_SparkGATK.Pipeline \
--master spark://$SPARK_MASTER_HOST:7077 NGS-SparkGATK.jar HelloWorld

spark-submit to docker container

1 个答案: