Spark Streaming Job冻结

Question

我有一个Spark流式传输作业，它从RabbitMQ接收消息并对它们执行一些状态映射。

在我的火花流媒体工作的某个时刻（约2000条消息/ 500批次），处理只是冻结。 它将继续接收消息并创建批次，但这些将保持待定。

执行程序内存设置为2G，驱动程序内存设置为1G。

我在日志中看不到任何内容，执行程序页面也没有显示任何内容（之前和之后）。

为什么会这样？

Answer 1

好像是某种OOM杀戮。在对JVM施加一些内存限制之后，似乎可以正常工作。