Kafka:如何获取主题的上次修改时间,即添加到主题的任何分区的最后一条消息

时间:2015-07-30 23:41:12

标签: apache-kafka kafka-consumer-api

我们的用例是从kafka删除陈旧/未使用的主题,即如果主题(在所有分区上)在过去7天内没有任何新消息,那么我们会将其视为陈旧/未使用并删除它。

许多谷歌搜索结果建议为邮件添加时间戳,然后解析它。对于新主题&灵魂会发挥作用的信息,但我们现有的主题和消息中没有任何时间戳。

我怎样才能使这个工作?

1 个答案:

答案 0 :(得分:1)

kafka.api.OffsetRequest.LatestTime()将返回添加到队列中的最新消息。您可以使用Simple Consumer API来确定要读取的偏移量。

有关详细信息,请查看wiki页面