Kafka流读取和写入到单独的集群

Question

以前已经回答过类似的问题，但是该解决方案不适用于我的用例。

我们在2个独立的DC中分别运行2个Kafka群集。我们的整体传入流量在这两个DC之间分配。

我将在每个DC中运行单独的Kafka流应用程序以转换该数据，并希望在单个DC中写入Kafka主题。 我该如何实现？

最终，我们将在Druid中为kafka主题数据建立索引。由于我们正在尝试汇总数据，因此无法运行单独的Druid集群。

我已经读过单个Kafka流是不可能的。有没有办法我可以使用另一个Kafka流从DC1读取并写入DC2 kafka集群？

Answer 1

在编写自己的内容时，您无法使用Kafka Streams API从Kafka群集A读取数据并写入其他Kafka群集B。

相反，如果要在Kafka群集之间移动数据（无论是在同一DC中还是跨DC），则应使用Apache Kafka的Mirror Maker或Confluent Replicator之类的工具。