Question

下面的Scala kafka使用者未从poll调用返回任何事件。

但是，该主题是正确的，我可以看到使用控制台使用者发送到该主题的事件：

/opt/kafka_2.11-0.10.1.0/bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic my_topic --from-beginning

当我使用调试器逐步遍历并调用kafkaConsumer.listTopics()

时，也会在下面的Scala代码示例中看到该主题。

此外，这是从单个单元测试中调用的，因此，我仅创建此特征和使用者的一个实例（即，另一个使用者实例不能使用消息）。我也在使用一个随机的group_id。

下面的代码/配置有什么问题吗？

import java.util.Properties

import org.apache.kafka.clients.consumer.KafkaConsumer
import org.apache.kafka.common.serialization.{ByteArrayDeserializer, StringDeserializer}

import scala.util.Random

trait KafkaTest {

  val kafkaConsumerProperties = new Properties()

  kafkaConsumerProperties.put("bootstrap.servers", "kafka:9092")

  kafkaConsumerProperties.put("group.id", Random.alphanumeric.take(10).mkString)

  kafkaConsumerProperties.put("key.deserializer", classOf[ByteArrayDeserializer])

  kafkaConsumerProperties.put("value.deserializer", classOf[StringDeserializer])

  val kafkaConsumer = new KafkaConsumer[String, String](kafkaConsumerProperties)

kafkaConsumer.subscribe(java.util.Collections.singletonList("my_topic"))

  def checkKafkaHasReceivedEvent(): Assertion = {

    val kafkaEvents = kafkaConsumer.poll(2000) // Always returns 0 events?
    ...
  }
}

增加轮询超时也无济于事。

Answer 1

要从头开始读取，必须将AUTO_OFFSET_RESET_CONFIG属性设置为最早，默认情况下为“最新”

kafkaConsumerProperties.put(
    ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, 
    OffsetResetStrategy.EARLIEST.toString().toLowerCase())

卡夫卡消费者未返回任何事件

1 个答案: