在Kafka v 1.x.x及更高版本中,如果我具有消息偏移量和分区功能,是否有可能获得消息时间戳?

时间:2019-06-04 04:46:05

标签: apache-kafka kafka-consumer-api

在Kafka v 1.x.x及更高版本中,鉴于我具有消息的主题偏移量和分区,是否有可能获取消息时间戳。 那是

  

I / P:主题分区偏移

     

预期的O / P:该确切消息的消息创建时间戳记

解决此问题的一种方法是使用查找和分配并开始使用消息。消费后,获取消费者记录的时间戳。

但是我想知道Java / Scala / Console中是否有任何API可以帮助实现这一目标?

1 个答案:

答案 0 :(得分:0)

consumer.assign来设置分区,而consumer.seek来设置偏移量,是您想要的API方法。之后,像往常一样轮询,然后获取时间戳记

或者您也可以像这样在CLI中显示时间戳

kafka-console-consumer ... --max-messages=1 --property print.timestamp=true \
   --topic "${TOPIC}" --partition $PARTITION --offset $OFFSET

kafkacat也可以用于降低所有-f '%T'格式的详细信息

添加消息时间戳后,在Kafka 0.10.2和更高版本中都可以使用