Spark Streaming：排长队/活跃批次

Question

任何人都可以请指出这个活跃批次在那里停留数周并且从未被处理过的原因是什么？非常感谢。

我的猜测是执行者不够，更多的工人/执行者会解决问题？或Spark在其任务调度程序中为不同批次分配优先级？

但是这里的情况是，最近的批次（6月底）成功处理，但5月份的批次仍在排队。

我刚检查了我的Spark设置，调度程序策略是FIFO

spark.scheduler.mode    FIFO

Answer 1

事实证明主节点是瓶颈。

主节点内存不足，然后调度程序无法快速处理。

解决方案：将主节点更改为更强大的EC2实例

Answer 2

在提交火花中 将--diver-memory和--executor-memory设置为适当的值 根据您的事件计数，例如10000M