如何使用Apache Pulsar进行有序批处理

时间:2019-03-02 23:31:14

标签: apache-pulsar

考虑以下示例:

  • 世界上成千上万的商店应记录内部流程

  • 对于每个商店位置,必须保留内部流程任务的顺序

  • 没有全球商店清单。流程任务可能会从一个位置飞来,而无需事先知道该位置

  • 记录过程任务至关重要,绝不能错过任何任务(故障转移)

我的理解是,为了保留每个位置内的流程顺序,我需要为每个商店位置创建一个主题,如下所示:

persistent:// public / default / store-san-francisco

对于每个主题,我需要创建一个具有故障转移功能的专用用户。

问题在于,由于我事先不知道位置,因此为每个未知位置创建临时消费者的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

Pulsar的新手,但我的理解是,如果不存在经纪人,经纪人将自动创建一个主题。另外,由于您可以从控制台管理实用程序中列出主题,所以我假设您也可以以编程方式进行操作,保留主题/消费者的运行列表,并在出现新主题时创建一个新主题。