与Apache Atlas有关Kafka的查询

Question

我正在研究一个用例，其中必须将外部Kafka主题元数据导入apache地图集。下面列出了一些需要澄清的查询：

1. 是否可以从不是用于地图集通知目的的外部Kafka导入主题元数据？如果可能的话，怎么办？
2. 如何使Kafka-metadata更新自动类似于Hive或Hbase，而不是每次都手动运行导入脚本？
3. 没有导入主题的沿袭数据。在什么情况下会捕获某个主题的血统数据？
4. 由于只有一个与Kafka相关的实体“ kafka_topic”，因此将根本没有关系数据吗？
5. 在什么情况下会针对主题进行审核？

Answer 1

我还在外部Kafka主题和Atlas上进行类似的工作，并且对您有几乎相同的问题。

对于您的第三个问题，我认为没有Kafka主题血统图的部分原因是因为Kafka只是一条消息总线。 Kafka消息是不可变的，因此没有像HBase或Hive这样的DML，即使在HBase中，表是通过同一行键上的“版本”来更新的。

在每个Kafka主题中，都有一个保留期限设置，默认情况下为7天，其中无论该主题的过期消息是否已被消耗，该过期消息都将从日志中删除。基于此，监视“已删除”消息的价值很小。

毕竟，Kafka的主要角色是消息传递工具，用于将消息从源传递到目的地。但是，它可以临时缓存消息，它与数据库不同。对于使用货运公司完成仓库的工作，我不是很积极。