卡夫卡:为什么经纪人不会像消费者一样拉扯

时间:2017-11-02 17:50:58

标签: apache-kafka

我正在阅读 Kafka docs,其中提到: -

  1. 消费者通过抵消请求从经纪商处提取数据。
  2. 制作人将消息推送到经纪人。
  3. 让Kafka消费者能够让消费者能够加快步伐,经纪人可以将数据存储很长时间。

    然而,由于生产商是基于推动的,Kafka如何确保生产商和卡夫卡之间的速度不匹配不会发生?生产者也没有坚持设计。当生产者和经纪人通过高延迟网络(互联网)分离时,这似乎是一个更大的问题。

1 个答案:

答案 0 :(得分:1)

作为分布式提交日志,Kafka正好解决了这个问题(阻抗不匹配)。您按照它们发生在Kafka中的速率生成事件,然后按照应用程序的速率使用它们。无论如何,数据都保存在Kafka中。如果您的应用程序需要以更高的速率使用,则可以将其扩展并对主题进行分区并并行使用。由于数据是持久存在的,因此唯一的因素是您希望消耗数据的速度。