Spark Streaming动态分配导致处理时间增加

Question

我正在运行一个带有一分钟批处理持续时间的spark流应用程序，spark.dynamic.idlexecutorTimeout也是相同的（60s），使用此配置我的平均处理时间为~3秒。当我将超时时间减少到30秒时，我的处理时间为25秒，并且在一段时间内它上升到4分钟，因此我的总延迟时间增加到15分钟。

突然飙升是执行者饥饿的结果吗？如果是，那么如何检查呢？增加处理时间的原因是什么？我们可以解决这个问题吗？