Question

我们偶尔会遇到副本负责人与其他ISR节点之间的高延迟，导致消费者收到以下错误：

org.apache.kafka.clients.consumer.RetriableCommitFailedException: Commit offsets failed with retriable exception. You should retry committing offsets.
Caused by: org.apache.kafka.common.errors.TimeoutException: The request timed out.

我可以增加offsets.commit.timeout.ms，但我不想这样做，因为它可能会导致额外的副作用。但是从更广泛的角度来看，我不希望代理等待所有其他副本上的提交偏移同步，而是在本地提交并异步更新其余副本。经过代理配置，我发现offsets.commit.required.acks看起来完全配置了，但是文档也隐含地说明了：the default (-1) should not be overridden。

为什么呢？我甚至尝试查看代理源代码，但发现其他信息很少。

知道为什么不推荐这个吗？是否有不同的方法来实现相同的结果？

Answer 1

我建议实际重试提交偏移量。

让您的使用者异步提交偏移量并实现重试机制。但是，重试异步提交可能会导致您在提交了较大的偏移量之后提交了较小的偏移量的情况，应尽力避免这种情况。

在“ Kafka-权威指南”一书中，有关于如何缓解此问题的提示：

重试异步提交：获得异步重试正确的提交顺序的一种简单模式是使用单调递增的序列号。每次提交时都增加序列号，并在提交时将序列号添加到commitAsync回调中。当您准备发送重试时，请检查回调获得的提交序列号是否与实例变量相等；如果是，则没有较新的提交，可以重试。如果实例序列号更高，请不要重试，因为已经发送了新的提交。

作为示例，您可以在下面的Scala中看到此想法的实现：

import java.util._
import java.time.Duration
import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord, KafkaConsumer, OffsetAndMetadata, OffsetCommitCallback}
import org.apache.kafka.common.{KafkaException, TopicPartition}
import collection.JavaConverters._

object AsyncCommitWithCallback extends App {

  // define topic
  val topic = "myOutputTopic"

  // set properties
  val props = new Properties()
  props.put(ConsumerConfig.GROUP_ID_CONFIG, "AsyncCommitter5")
  props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092")
  // [set more properties...]
  

  // create KafkaConsumer and subscribe
  val consumer = new KafkaConsumer[String, String](props)
  consumer.subscribe(List(topic).asJavaCollection)

  // initialize global counter
  val atomicLong = new AtomicLong(0)

  // consume message
  try {
    while(true) {
      val records = consumer.poll(Duration.ofMillis(1)).asScala

      if(records.nonEmpty) {
        for (data <- records) {
          // do something with the records
        }
        consumer.commitAsync(new KeepOrderAsyncCommit)
      }

    }
  } catch {
    case ex: KafkaException => ex.printStackTrace()
  } finally {
    consumer.commitSync()
    consumer.close()
  }


  class KeepOrderAsyncCommit extends OffsetCommitCallback {
    // keeping position of this callback instance
    val position = atomicLong.incrementAndGet()

    override def onComplete(offsets: util.Map[TopicPartition, OffsetAndMetadata], exception: Exception): Unit = {
      // retrying only if no other commit incremented the global counter
      if(exception != null){
        if(position == atomicLong.get) {
          consumer.commitAsync(this)
        }
      }
    }
  }

}

Kafka异步提交偏移复制

1 个答案: