从特定偏移量到结束偏移量的流处理

Question

是否可以从输入主题的特定偏移量到结束偏移量进行kafka流处理？

我有一个使用输入主题的Kafka流应用程序，但是由于某种原因它失败了。我修复了该问题并再次启动，但是从输入主题的最新偏移开始就开始使用它。我知道应用程序处理完之前的输入主题的偏移量。现在，我该如何处理从一个偏移量到另一个偏移量的输入主题。我正在使用融合的Platform 5.1.2。

Answer 1

默认情况下，KStreams支持--to-offset的两个可能值。它可以是“ 最早”或“ 最新”。您无法在应用程序代码中将其设置为特定的偏移量。

在应用程序重置期间有一个选项。如果使用应用程序重置脚本，则可以使用<path-to-confluent>/bin/kafka-streams-application-reset --application-id app1 --input-topics a,b --to-offset 1000 属性并将其分配给特定的偏移量。它将应用程序重置到该点。

{{1}}

您可以在文档中找到详细信息：
https://docs.confluent.io/5.1.2/streams/developer-guide/app-reset-tool.html

以防万一，如果要修复错误，则最好尽可能恢复到最早的状态。