如何使用Kafka镜像制作器复制架构？

Question

我们正在使用镜像制作器来同步前提和AWS Kafka主题。如何将其主题在内部部署的主题复制到其他集群（本例中为aw）中完全相同的副本？ 如何使用mirror maker复制avro模式？

Answer 1

MirrorMaker仅复制字节数组，而不复制模式。而且不在乎数据的格式

从Confluent 4.x或更高版本开始，只要目标注册表可以为同一模式ID查找GET /schemas/ids/(number)，这都无关紧要，因为这是解串器选择的端点

否则，您也可以镜像_schemas主题，这是Confluent在使用Confluent Replicator时的建议

如果您绝对需要一对一的架构复制，则需要实现一个MessageHandler接口，并将其传递给MirrorMaker命令，以获取和发布该架构，类似于我的内部逻辑已添加到此Kafka Connect插件（您可以使用Connect代替MirrorMaker）。 https://github.com/cricket007/schema-registry-transfer-smt