使用spark.shuffle.service.enabled属性启动工作程序

Question

根据spark文档文档

*

  

使用此功能有两个要求。首先，你的   应用程序必须将spark.dynamicAllocation.enabled设置为true。第二，   您必须在   同一集群，并在您的服务器中将spark.shuffle.service.enabled设置为true   应用。外部随机播放服务的目的是允许   执行者将被删除，而不会删除他们编写的随机文件   （下面将详细介绍）。设置此服务的方式各不相同   跨集群管理器：

     

在独立模式下，只需启动您的工作人员   将spark.shuffle.service.enabled设置为true。

*

我正在尝试使用以下命令启动工作器

nohup ./spark-class --conf spark.shuffle.service.enabled=true org.apache.spark.deploy.worker.Worker spark://10.180.85.254:7077

此命令未在后台启动工作程序。有人可以建议正确的命令吗？

Answer 1

我已经配置了属性

spark.shuffle.service.enabled   true

在spark-defaults.conf文件中的每个工作人员。

效果很好。