Spark主机：7077无法访问

Question

我有一个Spark Spark集群，其中主节点也是工作节点。我无法从驱动程序代码节点到达主服务器，我收到错误：

14:07:10 WARN client.AppClient$ClientEndpoint: Failed to connect to master master-machine:7077

驱动程序代码节点中的SparkContext配置为： SparkConf conf = new SparkConf(true).setMaster(spark:master-machine//:7077);

我可以成功ping master-machine，但我无法成功telnet master-machine 7077。这意味着机器可以访问，但端口不可用。

可能是什么问题？我已经为主节点和运行驱动程序代码的节点（客户端）禁用了Ubuntu的ufw防火墙。

Answer 1

你的语法有点不对，你有：

setMaster(spark:master-machine//:7077)

你想：

setMaster(spark://master-machine:7077)

来自Spark文档：

  

一旦开始，主人将打印出spark://HOST:PORT URL   本身，你可以用它来连接工人，或者传递给工人   SparkContext的“master”参数。你也可以在上找到这个URL   master的Web UI，默认为http://localhost:8080。

你也可以在那里使用IP地址，我遇到了基于debian的安装问题，我总是要使用IP地址，但这是一个单独的问题。一个例子：

spark.master            spark://5.6.7.8:7077

来自configuration page in Spark docs