背压属性如何在Spark Streaming中工作？

Question

我有一个接收单个事件（String）的CustomReceiver。在spark应用程序运行时使用接收到的单个事件来从nosql读取数据并应用转换。当观察每个批处理的处理时间时为了大于批处理间隔，我设置了这个属性。

spark.streaming.backpressure.enabled =真

之后我预计CustomReceiver不会触发并在批处理窗口处理的时间超过批处理窗口时接收事件，而这种情况并没有发生，并且仍在添加批量积压。我在这里错过了什么吗？

Answer 1

尝试检查this和this条。