为什么在启用动态分配时始终将Spark Web UI和rest UI中显示的执行程序数量保持不变

时间:2017-07-10 13:04:57

标签: apache-spark spark-streaming

我正在运行一个批处理持续时间为1分钟的Spark Streaming应用程序,并且启用了动态分配,executorIdleRunTime等于5秒。我可以在事件时间线中看到他们分配和删除了大约4000多个执行程序,但在执行程序中我总是看到102个执行程序。这可能是什么原因.Rest API提供相同的数据,但执行程序有不同。

enter image description here

enter image description here

我附上了各自的快照,以便更好地理解这个问题。

0 个答案:

没有答案