未遵循动态分配限制中的spark.dynamicAllocation.maxExecutors

时间:2018-08-17 07:12:26

标签: apache-spark

我正在设置以下动态分配配置:

spark.shuffle.service.enabled=true
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.minExecutors=50
spark.dynamicAllocation.maxExecutors=100

但是,当在“执行程序”选项卡下的Apache Spark UI中查看活动执行程序的数量时,我看到100多个执行程序。有这个原因吗?该最大执行器配置是否冗余?还是这两个执行者的意思有所不同?

0 个答案:

没有答案