标签: apache-spark
我们正在运行带有一些流作业的Spark集群,并且通过kafka提取数据。 我们正在对作业进行检查,以便在流程停止时可以提取离开流程的位置。 同时,我们启用了反压功能,以使工作不会一次被成千上万的消息所破坏。
我们已经注意到,停止工作后,除非我们清洁检查点,否则工作不会考虑新的背压设置。
有什么理由可以证明这是预期的行为吗?有什么办法可以规避它?