为Azure Kafka配置灾难恢复和自动故障转移吗？

Question

我们的kafka在运行于美国东部的Azure HDInsight上运行，而按地区划分的热点是美国西部。

如何配置Azure HDInsight以通过自动故障转移支持灾难恢复？会影响连接字符串吗？

Answer 1

Azure HDInsight具有独特的体系结构，可确保关键服务的高可用性（HA）。此体系结构的某些组件由Microsoft开发，以提供自动故障转移。其他组件是标准的Apache组件，它们被部署为支持特定的服务。

此article解释了HDInsight中HA服务模型的体系结构，HDInsight如何支持HA服务的故障转移以及从其他服务中断中恢复的最佳实践。

对于Azure HDInsight Kafka群集，可以使用Kafka的镜像功能在Azure HDInsight上使用Kafka复制Apache Kafka主题。

什么是卡夫卡镜像？

Kafka的镜像功能使维护现有Kafka群集的副本成为可能。

Apache Kafka镜像如何工作？

通过使用MirrorMaker工具（Apache Kafka的一部分）来进行镜像工作，以使用主群集上主题的记录，然后在辅助群集上创建本地副本。 MirrorMaker使用一个（或多个）从主群集读取的使用者，以及一个写入本地（辅助）群集的使用者。

对于灾难恢复而言，最有用的镜像设置是利用不同Azure区域中的Kafka群集。为此，将群集所在的虚拟网络对等连接在一起。

下图说明了镜像过程以及群集之间的通信流：

有关更多详细信息，请参见Use MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsight和Big data streaming: Choices for high availability and disaster recovery on Microsoft Azure