Spark Streaming - 动态分配不会在Windows间隔中间删除执行程序

Question

我有一个火花流工作，批处理间隔为10分钟，幻灯片/窗口为1小时，我已经用Spark激活了动态分配。

但执行程序在1小时后被删除，而不是在批处理间隔每10分钟后删除，所以我必须等待1小时才能看到执行程序被删除（如果没有数据要处理）。

有没有办法告诉spark在每个批处理间隔而不是窗口间隔后修改excecutors删除？

感谢。

Answer 1

请检查作业级别或默认配置（spark-defaults.conf）

中的执行程序空闲超时属性设置

• spark.dynamicAllocation.executorIdleTimeout
• spark.dynamicAllocation.cachedExecutorIdleTimeout

有关详细信息，请参阅this链接。