对于具有多个实例的Spring企业Web应用程序，从Kafka检索偏移值并存储它的方法是什么？

Question

我正在处理企业Web应用程序，该应用程序需要从Kafka系统读取然后触发事件。任何人都可以建议一种方法来获得偏移量，也是存储偏移量的理想方式（理想的方式应该能够处理多个应用程序实例的访问）？

注意： - 我使用spring-kafka并打开任何进一步的建议。

提前致谢。

Answer 1

使用最新版本的Kafka，偏移量存储在kafka主题中。 Kafka跟踪主题__consumer_offsets中每个分区的消费者偏移量，这是一个压缩的主题;换一种说法; kafka本身会跟踪每个消费者群体的偏移量。

Spring for Apache Kafka;提交偏移时提供了几个选项。

早期版本的kafka偏移通常存储在外部;它现在变得更加简单。

可能仍有用例，但Spring Kafka支持这些场景;特别是即将推出的2.0版本。