Flink + Kafka重置检查点和偏移量

Question

简而言之，我想从头开始重新运行Kafka 中数据的Flink管道。

Flink 0.10.2，Kafka 0.8.2。

我在Kafka有一个推文主题，保留2个小时，Flink中的一个管道，用10个每10分钟的滑动窗口来计算推文。

如果我打断管道并重新运行它，我希望重新阅读较旧的推文，从而排出5分钟的推文。 相反，它似乎从新到的推文重新开始，所以它需要5分钟才能计算出＃34;在政权＃34;。

我已尝试auto.offset.reset = smallest/earliest和更改group.id，但未成功。我还试图在Kafka中手动更改偏移量，如下所述：https://metabroadcast.com/blog/resetting-kafka-offsets

然后我假设这个问题可能与Flink的检查点有关，但我没有线索/无法找到有关如何重置该信息的信息。

任何人都可以分享一些工作代码吗？谢谢，E。

Answer 1

要重新阅读Kafka主题中的所有内容，设置新的“group.id”并将“auto.offset.reset”设置为“最早”就足够了。

如果这不起作用，那就错了。