Spark实例化了重复的工作者

Question

在spark主机上，我在conf/spark-env.sh中有以下配置：

export SPARK_WORKER_INSTANCES=1

在./sbin/start-all.sh，我有

starting org.apache.spark.deploy.master.Master, logging to ... spark-slave1.com: starting org.apache.spark.deploy.worker.Worker, logging to ... localhost: starting org.apache.spark.deploy.worker.Worker, logging to ... spark-slave2.com: starting org.apache.spark.deploy.worker.Worker, logging to ...

当我启动spark master时，我打算从每台主机中共有1名工人，总共3名工人。

然后我通过以下方式启动群集：ALIVE，

得到以下特性：

I'm not sure what you are trying to achieve but the below code is based on my understanding of your question.  

 proc format ;

picture mypct low-high='000.00,009.00%';

run;



proc tabulate data=in_data out=out_data;
    class Var X1 X2 X3; 
    tables ((V1 )all),(V2(all)),(v3) 
                        (all)*( N reppctN*f=pctfmt7.1)/rts=20 ;

        run;

在localhost：8080访问spark监控网页界面时， 5名工作人员已注册。

来自localhost的
• 1
• 2来自spark-slave1.com
• 2来自spark-slave2.com

所有人都拥有状态{{1}}

我做错了什么？

如果需要任何其他信息，请与我们联系。我更改了主机名以用于说明目的。它实际上是一个本地IP。

编辑1 - 添加了屏幕截图以供参考

Answer 1

我遇到过一些问题，那是因为在您的配置文件spark-env.sh中，您已经设置了多个工作线实例 修改为export SPARK_WORKER_INSTANCES=1您的问题将解决。