Kafka Streams应用程序重置工具不起作用,并且无法将主题偏移量重置为0

时间:2018-06-21 10:29:19

标签: apache-kafka apache-kafka-streams

我引用了https://www.confluent.io/blog/data-reprocessing-with-kafka-streams-resetting-a-streams-application/,并尝试使用Kafka Streams Application Reset Tool来重置kafka流应用程序。但是,即使我已完成所有先决条件和必要步骤,当我检查重置主题偏移量/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-consumer-groups.sh时,CURRENT-OFFSET仍不为0。

有人可以帮忙吗?会非常感激的。

1 个答案:

答案 0 :(得分:1)

根据所使用的版本,重置工具将提交“开始偏移”为零-如果您的主题受到保留并被截断,则“开始偏移”不再为零。

这是设计使然,实际上比提交零要好,因为在这种情况下零将是无效的偏移量,并且在应用程序重新启动时auto.offset.reset将触发(如果未将其配置为“最早”,则会得到一些不希望有的信息)行为)。

您可以通过bin/kafka-run-class.sh kafka.tools.GetOffsetShell获得当前距主题的最早偏移量。