卡夫卡消费者抵消最大值?

时间:2015-12-22 05:24:42

标签: offset apache-kafka kafka-consumer-api

我正在谷歌搜索和阅读Kafka文档,但我无法找出消费者偏移的最大值以及最大值后是否有偏移环绕。 我理解offset是一个Int64值,所以最大值是0xFFFFFFFFFFFFFFFF。 如果有解决方法,Kafka如何处理这种情况?

2 个答案:

答案 0 :(得分:22)

根据此post,偏移量不会重置:

  

此刻我们不会回滚偏移。由于偏移很长,所以   可以持续很长一段时间。如果你每天写1TB,你可以坚持下去   大约400万天。

     

另外,您可以随时使用更多分区(每个分区都有自己的分区)   偏移)。

正如卢西亚诺所说,可能不值得担心。

答案 1 :(得分:2)

似乎这并不是真的"处理"。但是,考虑到每个分区的偏移量,似乎这是我们不应该担心的事情:)

请参阅http://search-hadoop.com/m/uyzND1uRn8D1sSH322/rollover/v=threaded