标签: apache-spark out-of-memory spark-streaming
我有一个带有Spark 1.6的10节点集群,一个Master和9个Worker,我正在运行带有自定义接收器的Streaming作业。
接收器是在其中一个节点上随机创建的,其内存使用率很高。
Executors上的计算也消耗大量内存,并且定期删除Receiver上的节点上的Executor。
在下图中,您可以看到Executor和Receiver组合内存使用率过高时如何删除执行程序。
我想知道是否可以在没有Executor的节点上实例化Receiver,因此它们的内存使用量不会导致执行程序被删除。