标签： apache-spark apache-kafka spark-streaming kafka-consumer-api kafka-producer-api
我们需要在kafka消费者部分的火花流中对消耗的记录进行排序。是否有可能知道所有已发布的记录都是在kafka消费者中消费的？
答案 0 :(得分：0)
您可以使用KafkaConsumer#endOffsets(...)获取每个分区当前日志结尾的偏移量。当然，请记住，只要消费者写入新数据，日志结束就会移动。因此，为了获得＆＃34;结束抵消＆＃34;你必须确保没有正在运行的制作人......
KafkaConsumer#endOffsets(...)