我正在尝试寻找多站点模型。假设在不同位置的站点有许多数据中心,我的意思是站点之间可能存在延迟。为了避免延迟,哪种架构对我来说最好?我读到了镜子制造工具,据我所知,它需要Kafka经纪人在每个网站上与生产者和消费者,我将从许多网站的生产者那里获取数据,但只在中心网站消费,我也不需要许多复制品和保存数据对于我来说实时处理并不重要。
答案 0 :(得分:0)
Mirror Maker使您可以在多个Kafka群集之间进行复制,如果这是您需要的。你不能避免延迟"因为光的速度要与之抗衡; - )
有关多DC部署的一般概述,请参阅
如果您需要有关架构的直接建议,则需要提供有关您的要求的更多具体详细信息。如果延迟是一个考虑因素,你能解释为什么你要生产多个网站并在一个网站上消费吗?你可以做一个拉伸集群(一个跨多个站点的Kafka集群),但你会发现ZooKeeper对站点之间的延迟很敏感,这可能会导致很大的问题。