Question

我有一个主题，其中所有日志都被推送到集中主题，但我希望将其中一些记录过滤到单独的主题，并在可能的情况下进行聚类。

谢谢

Answer 1

Kafka流不允许创建具有来自不同Kafka群集的源和输出主题的流。因此以下代码对您不起作用

streamsBuilder.stream(sourceTopicName).filter(..).to(outputTopicName)

在这种情况下，它期望outputTopicName与主题sourceTopicName来自同一群集。

一种解决方法，为了将消息从另一个集群发送到输出主题，您可以使用另外创建的属性为bootstrap.servers的KafkaProducer，它将指向外部集群，并且{ {1}}方法。

KStream.foreach()

另一种选择是在您的Kafka集群中创建输出主题，该主题将过滤邮件并在两个集群之间设置Kafka Mirroring（因此，消息将从一个主题复制到另一个集群的第二个主题））。