不能停止向消费者预取kafka消息

Question

我使用kafka spark Direct API从kafka主题中使用。当负载很高时，我的spark作业不会一次消耗掉所有未提交的消息，而是一次又一次地消耗一小部分。这导致滞后随着时间而增加。我将spark.streaming.kafka.maxRatePerPartition设置为非常大的值。