卡夫卡消费者在云端

时间:2017-07-19 22:30:46

标签: java apache-kafka cloudfoundry pivotal-cloud-foundry spring-kafka

我正在使用Spring kafka消费者,这些消费者包裹在一个弹簧启动应用程序中,并作为微型服务部署在关键的云代工厂中。我正在部署应用程序的15个实例& 15卡夫卡分区。由于大多数这些实例一个接一个地启动,是否会进行多次重新平衡?在云中部署kafka消费者的推荐方法是什么?

1 个答案:

答案 0 :(得分:2)

新的0.11客户端有一个新属性group.initial.rebalance.delay.ms see Notable changes in 0.11.0.0

  

引入了新配置group.initial.rebalance.delay.ms。此配置指定GroupCoordinator将延迟初始消费者重新平衡的时间(以毫秒为单位)。当新成员加入群组时,重新平衡将进一步延迟group.initial.rebalance.delay.ms的值,最多为max.poll.interval.ms。默认值为3秒。在开发和测试期间,可能需要将其设置为0,以免延迟测试执行时间。

我们正在为0.11客户端添加支持。目前计划发布2.0版Spring for Apache Kafka,但我们正在考虑发布一个包含2.0功能的1.3版本,以及对0.11的支持。

您可以尝试使用较旧的spring-kafka新客户端;它可能会起作用,但是,当然,你不会得到0.11这样的功能,比如交易和Headers