Question

我正在使用Kafka队列来保存一些将被消费者应用程序检索并在其上执行某些操作的对象。

问题：如果消费者的处理时间超过2小时，那么kafka似乎会一次又一次地回馈同一个物体

代码：

  private static Queue queue = new LinkedList();
  while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE);
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("\n\n\n Kafka has :[" + record.offset());
                queue.add(record.value());
            }
            System.out.println("\n\n\n Kafka has :[" + records.count());
            if (queue != null) {
                maintainQueue();
            }
        }

Answer 1

我使用的是kafka版本0.10.1.0

我们已经解决了这个问题通过更新 ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG to "false" 并在consumer.commitSync();

之后添加consumer.poll(Long.MAX_VALUE);

参考：

Kafka - How to commit offset after every message using High-Level consumer?

http://www.slideshare.net/jjkoshy/offset-management-in-kafka

卡夫卡消费者陷入无休止的循环

1 个答案: