KafkaConsumer读取所有记录

时间:2017-11-02 22:03:58

标签: apache-kafka kafka-consumer-api

我想测试一个kafka示例: 制片人:

object ProducerApp extends App {

val topic = "topicTest"
val  props = new Properties()
props.put("bootstrap.servers", "localhost:9092")
props.put(ConsumerConfig.GROUP_ID_CONFIG, "consumer")
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer")
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer")
val producer = new KafkaProducer[String, String](props)
for(i <- 0 to 20)
{    
val record = new ProducerRecord(topic, "key "+i," value "+i)    
producer.send(record)    
Thread.sleep(100)    
}
}

消费者:

object ConsumerApp extends App {
val topic = "topicTest"  
val properties = new Properties
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092")
properties.put(ConsumerConfig.GROUP_ID_CONFIG, "consumer")  
properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false")  
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest")
properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
val consumer = new KafkaConsumer[String, String](properties)  
consumer.subscribe(scala.List(topic).asJava)    
while (true) {
val records:ConsumerRecords[String,String] = consumer.poll(200)
println("records size "+records.count())    
}  
}

使用1分区创建主题“topicTest”。

预期结果是:

records size 21
records size 21
records size 21
records size 21
...

但获得的结果是:

records size 21
records size 0
records size 21
records size 0
records size 21
records size 0
...

消费者交替阅读记录。我想了解原因。 谢谢

1 个答案:

答案 0 :(得分:0)

在我看来,您看到此行为的原因可能是您为poll()设置的短暂超时。在200毫秒的超时可能不足以在偏移重置后重试内部pollOnce()link)。消费者在一个pollOnce()之后超时,需要重置偏移并且不返回任何记录。在调用poll()时,在应用程序的下一个循环中,偏移量已经是我们需要的。所以200毫秒可能足以检索记录。在第三次调用时,重复上述行为。

请注意,对seekToBeginning()的调用不会立即重置偏移量,而是标记分区以进行偏移重置。实际重置是在下次调用poll()position()时发生的。

尝试增加poll()超时,这应该有希望摆脱你得到的record size 0输出。