最新版本的Kafka如何准确地存储/保留来自消费者的订阅？

Question

我已经为Kafka的生产者端找到了很好的参考体系结构细节，但是关于端到端模型的很少细节，关于端到端模型如何从主题实际消费消息，如何管理订阅，持久保留订阅（我会以组协调员为主题？）以及何时/何时进行反序列化。

有没有人有任何细节来帮助确定经纪人和消费者之间的详细架构？

Answer 1

文档中有很大一部分涉及消费者模型：https://kafka.apache.org/documentation/#theconsumer

有关消费者组协议的详细信息，请参见以下两个讲座：

• https://www.youtube.com/watch?v=QaeXDh12EhE
• https://www.confluent.io/kafka-summit-lon19/everything-you-wanted-to-know-kafka-afraid

主题订阅不会保留在代理上，而是消费者使用重新平衡协议来共享其订阅并在彼此之间分配分区。

记录是从代理“原始”发送的，并且消费者负责反序列化数据，因此，为什么key.deserializer和value.deserializer是强制性的settings。