Question

我正在衡量卡夫卡制片人的表演。目前，我遇到了两个配置和用法不同的客户端：

普通的：

def buildKafkaConfig(hosts: String, port: Int): Properties = {
  val props = new Properties()    
  props.put("metadata.broker.list", brokers)
  props.put("serializer.class", "kafka.serializer.StringEncoder")
  props.put("producer.type", "async") 
  props.put("request.required.acks", "0")
  props.put("queue.buffering.max.ms", "5000")
  props.put("queue.buffering.max.messages", "2000")
  props.put("batch.num.messages", "300")
  props
}

第一位客户：

"org.apache.kafka" % "kafka_2.11" % "0.8.2.2"

用法：

val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new Producer[String, String](new ProducerConfig(kafkaConfig))

// ... somewhere in code 
producer.send(new KeyedMessage[String, String]("my-topic", data))

第二位客户：

"org.apache.kafka" % "kafka-clients" % "0.8.2.2"

用法：

val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new KafkaProducer[String, String](kafkaConfig)
// ... somewhere in code 
producer.send(new ProducerRecord[String, String]("my-topic", data))

我的问题是：

2个客户有什么区别？
我应该配置哪些属性，考虑到实现最佳，高重写性能，适用于大规模应用？

Answer 1

2个客户有什么区别？

他们只是old vs new APIs。 Kafka从0.8.2.x开始公开了一套新的API来与kafka合作，较早的Producer与KeyedMessage[K,V]一起使用，其中新API为KafkaProducer ProducerRecord[K,V] 1}}：

从0.8.2版本开始，我们鼓励所有新开发使用新的Java制作人。此客户端经过生产测试，通常都是比以前的Scala客户端更快，更全面。

您最好使用新支持的版本。

我应该配置哪些属性，考虑到实现适用于大规模应用的最佳，高重写性能？

这是一个非常广泛的问题，它在很大程度上取决于您的软件架构。它随着规模，生产者数量，消费者数量等而变化。有许多事情需要考虑。我建议您浏览the documentation并阅读有关卡夫卡建筑和设计的章节，以更好地了解其内部工作原理。

一般来说，根据我的经验，您需要平衡数据的复制因素，以及每个队列进入的保留时间和分区数。如果你有更具体的问题，你一定要发一个问题。

kafka ProducerRecord和KeyedMessage

1 个答案: