Spark检查点是否停止更改新的背压设置?

时间:2019-07-12 22:17:01

标签: apache-spark

我们正在运行带有一些流作业的Spark集群,并且通过kafka提取数据。 我们正在对作业进行检查,以便在流程停止时可以提取离开流程的位置。 同时,我们启用了反压功能,以使工作不会一次被成千上万的消息所破坏。

我们已经注意到,停止工作后,除非我们清洁检查点,否则工作不会考虑新的背压设置。

有什么理由可以证明这是预期的行为吗?有什么办法可以规避它?

0 个答案:

没有答案