在Windows 10上设置Spark集群

Question

我正在尝试使用两个运行Windows 10的系统来设置spark 3光泽。

spark-class org.apache.spark.deploy.master.Master -h <hostname>在spark://<hostname>:7077上启动主服务器

在我要用作工作节点的第二台计算机上 spark-class org.apache.spark.deploy.worker.Worker spark://<hostname>:7077，但是它会引发连接拒绝错误。

我点击了spark start-slave not connecting to master，Spark Standalone Cluster - Slave not connecting to Master链接，并更新了spark-env文件以更新SPARK_MASTER_HOST和SPARK_LOCAL_IP，但还是没有运气。

在启动主节点时，我尝试使用-i flag，并且能够成功连接主节点和从节点，但是spark文档说-i已被弃用，所以有人可以指出我做错了什么在启动母版时使用-h flag时。

Answer 1

您应通过以下方式向“工作者”提供主主机名或IP：

...Worker spark://<MASTER IP>:7077