Spark驱动程序无法在群集中启动

时间:2016-04-29 01:13:46

标签: apache-spark

我使用SparkLauncher将作业提交给Spark Cluster,它将在其中一个工作节点上启动Spark驱动程序。但是驱动程序启动始终失败,此异常出现16次:

level="WARN",threadName="main",logger="org.apache.spark.util.Utils",message="Service 'Driver' could not bind on port 0. Attempting port 1."

有没有人有任何想法?

2 个答案:

答案 0 :(得分:3)

我终于明白了。如果从您正在启动作业的计算机上设置环境变量SPARK_LOCAL_IP = 0.0.0.0,则似乎可以解决此问题。根据文档,它将为驱动程序选择一个随机端口,以便在群集中的任何工作节点上运行。根据@yyny的评论,如果你想修复驱动程序的端口,你可以使用" spark.driver.port"。

答案 1 :(得分:0)

端口号看起来不正确,您可以通过spark.driver.port

更改它