我正在谷歌搜索和阅读Kafka文档,但我无法找出消费者偏移的最大值以及最大值后是否有偏移环绕。 我理解offset是一个Int64值,所以最大值是0xFFFFFFFFFFFFFFFF。 如果有解决方法,Kafka如何处理这种情况?
答案 0 :(得分:22)
根据此post,偏移量不会重置:
此刻我们不会回滚偏移。由于偏移很长,所以 可以持续很长一段时间。如果你每天写1TB,你可以坚持下去 大约400万天。
另外,您可以随时使用更多分区(每个分区都有自己的分区) 偏移)。
正如卢西亚诺所说,可能不值得担心。
答案 1 :(得分:2)
似乎这并不是真的"处理"。但是,考虑到每个分区的偏移量,似乎这是我们不应该担心的事情:)
请参阅http://search-hadoop.com/m/uyzND1uRn8D1sSH322/rollover/v=threaded