FlinkKafkaConsumer08偏移控制

Question

我想使用FlinkKafkaConsumer08来阅读kafka主题。消息是事件源的命令。我想从头开始，而不是阅读主题中已有的消息。 我想有办法告诉FlinkKafkaConsumer08从最后开始。 怎么样？

修改

我尝试将“auto.offset.reset”属性设置为“最大”但没有结果。我也尝试过enableCheckpoing。

我尝试将“auto.commit.interval.ms”设置为1000.然后，至少，之前处理过的邮件不会再次处理。这是一项重大改进，因为至少命令不会执行两次，但丢弃旧的命令消息会好得多。我将采用的解决方案是根据日期丢弃旧邮件，并返回错误。

Answer 1

仅当Kafka在Kafka / ZooKeeper中找不到当前使用者组的已提交偏移时，才使用auto.offset.reset属性。因此，如果您重新使用消费者群体，则很可能不会尊重此属性。但是，在新的消费者群体中启动Kafka消费者应该可以解决问题。