使用Scala / Spark编程计算kafka主题中的消息数

Question

要求是使用Scala或Spark编程计算Kafka主题中的消息数。我是编程新手，所以我不知道怎么做。任何人都可以帮我提供代码或指导我如何实现。

Answer 1

给定org.apache.kafka.clients.consumer.KafkaConsumer的方法是： beginningOffsets(Collection<TopicPartition>)和endOffsets(Collection<TopicPartition>)。

你需要记住kafka经纪人可以删除消息，这就是为什么需要开始消息。