标签: apache-spark spark-streaming
我正在运行一个批处理持续时间为1分钟的Spark Streaming应用程序,并且启用了动态分配,executorIdleRunTime等于5秒。我可以在事件时间线中看到他们分配和删除了大约4000多个执行程序,但在执行程序中我总是看到102个执行程序。这可能是什么原因.Rest API提供相同的数据,但执行程序有不同。
我附上了各自的快照,以便更好地理解这个问题。