如何使用KSQL将kafka集群中存在的所有主题存储到另一个主题

时间:2020-07-24 14:56:41

标签: apache-kafka ksqldb

我是KSQL的新手。我想使用KSQL查询将kafka集群中存在的所有主题名称存储到另一个主题。 来自KSQL CLI的SHOW TOPICS;为我提供了主题列表。我想通过创建流将所有这些主题信息存储在另一个主题中。 我将轮询这个新主题(使用使用者),并且每当在集群中创建一个新主题时,我的使用者都会收到一条消息。 我想要一个KSQL查询来完成此任务。

谢谢。

1 个答案:

答案 0 :(得分:0)

您目前无法使用ksqlDB实现所需的功能。 SHOW TOPICS命令是系统命令,而不是sql语句。因此,查询的输出无法通过管道传递到流中。

ksqlDB允许您处理Kafka集群中主题内的数据。它(尚)不允许您处理Kafka群集的元数据,例如主题列表或消费者群体等。

可能值得在GitHub上提出功能请求:https://github.com/confluentinc/ksql/issues/new/choose