Kafka Mirror Maker（多种来源 - ＆gt; One Target）可能吗？

Question

在那里向Kafka Pros提出简短问题。我有多个数据中心 DC_REMOTE_1 ， DC_REMOTE_2 和 DC_LOCAL ，其中远程数据中心实际上是向一个主题发送消息。

在本地数据中心（ DC_LOCAL ），我们正在运行一个镜像制作工具，该工具目前将远程主题（ events @ dc_remote_1 ）传输到本地主题（事件@ dc_local ）。是否可以以这种方式配置镜像制造商，（ events @ dc_remote_2 ）也被复制到 events @ local ？

将不同的远程主题合并到一个本地主题中，还是由于偏移管理而遇到问题？

感谢您的帮助。

Answer 1

我已经研究过类似的要求，你可以在每个DC（DC_REMOTE_1和DC_REMOTE_2）中运行一个独立的MirrorMaker，它将作为本地kafka集群的消费者并将数据发送到DC_LOCAL（这样就没有问题了抵消管理）。 实际上，kafka集群DC_LOCAL的容量应该是DC_REMOTE_1 / 2 kafka集群的大约2倍。

请告诉我这是否有助于您的要求。