卡夫卡消费者诉10

时间:2016-08-16 21:58:26

标签: apache-kafka kafka-consumer-api

在先前版本的Kafka 0.8中使用SimpleConsumer存在一些缺点

  1. 您必须跟踪应用程序中的偏移量,以了解您停止消费的位置。
  2. 您必须确定哪个Broker是主题和分区的主要经纪人
  3. 您必须处理经纪人领导人的变更
  4. 在最新版本的Kafka中,我们有一个统一的消费者,它会进行民意调查以获取消息。如何跟踪和处理经纪人/领导者的变化?

1 个答案:

答案 0 :(得分:0)

在新版本中,对于消费者偏移管理,我们有一个名为"__consumer_offsets"的默认主题,而不是像在0.8版本中那样依赖zookeeper或手动管理它。

经纪人领导人的变更仍然通过zookeeper处理。请记住,即使在当前版本中,Kafka确实需要zookeeper才能工作。只是消费者抵消依赖性已发生变化。因此,zookeeper跟踪经纪人/领导者选举。

此外,作为消费者,您真的不必担心经纪人领导者的变化。如果您正在为消费者使用具有高级API的客户端,则只需指定使用者组ID,要使用的主题和代理列表(用于标识群集的服务器很少,主题可能不在那里)