Spark流式自定义接收器内存问题

时间:2017-03-03 11:16:02

标签: apache-spark out-of-memory spark-streaming

我有一个带有Spark 1.6的10节点集群,一个Master和9个Worker,我正在运行带有自定义接收器的Streaming作业。

接收器是在其中一个节点上随机创建的,其内存使用率很高。

Executors上的计算也消耗大量内存,并且定期删除Receiver上的节点上的Executor。

在下图中,您可以看到Executor和Receiver组合内存使用率过高时如何删除执行程序。

我想知道是否可以在没有Executor的节点上实例化Receiver,因此它们的内存使用量不会导致执行程序被删除。

0 个答案:

没有答案