标签： apache-spark apache-kafka spark-streaming kafka-consumer-api
我们使用基于Spark消费者的方法运行Kafka消费者，使用redis来存储偏移量。我们将消息读取率设置为每秒200，间隔为5分钟。我们在流式传输数据时遇到了一些偏移问题。消费者在一些迭代中跳过偏移，主要是当它无法在5分钟内处理数据并且过程停止时。 任何人都可以帮我们弄清楚为什么消费者会跳过一些抵消吗？