Kafka数据流ID

Question

我是Kafka的新手，正在尝试为我的Apache httpd日志建立一个管道到mongodb。

我有使用Kafka Output从Filebeat生成的数据。然后，我使用Kstreams从主题中读取数据并使用mapValues将数据流传输到另一个主题。然后使用Kafka Connect将数据下沉到数据库（MongoDB）。不幸的是，我来自Filebeat的数据没有ID。

我如何为其创建ID，就像我想创建一个唯一ID并将其插入文档中，然后将其沉入mongodb一样？我希望这可以在mapValues转换中发生；

Answer 1

我认为您可以结合使用分区和偏移量来为每条消息创建唯一的ID。如果要使主题在各个主题之间唯一，则可能需要添加主题。