Question

我正在尝试运行SparkPi示例的简单执行。我启动了主人和一个工作人员，然后在我的本地“集群”上执行了这项工作，但最终得到的一系列错误都以

结尾

Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398

我最初尝试在没有配置的情况下运行我的主人和工作人员，但结果却出现了同样的错误。我试图更改为127.0.0.1来测试它是否只是一个防火墙问题，因为服务器被锁定在外面的世界。

我的conf/spark-conf.sh包含以下内容：

export SPARK_MASTER_IP=127.0.0.1

以下是我运行的订单和命令：

1）sbin/start-master.sh（启动主人）

2）bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111（在同一台机器上的另一个会话中启动从属设备）

3）bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077（在同一台机器上的另一个会话中开始工作）

我发现很难相信我已被锁定在本地运行会导致问题。

Answer 1

看起来您不应将SPARK_MASTER_IP设置为环回地址127.0.0.1。工作节点将无法使用环回地址连接到MASTER节点。

您应将其设置为conf / spark-env.sh中的有效本地IP地址（例如，192.168.0.2），并在MASTER和WORKER节点的conf / slaves配置文件中添加工作者的IP。

然后你可以使用sbin / start-all.sh来启动集群。

然后运行“bin / run-example org.apache.spark.examples.SparkPi”