如何使用KAFKA在消费者中自动加载平衡

Question

以下是我的任务：

file_1：[task_1_1，task_1_2，...]

file_2：[task_2_2，task_2_2，...]

...

file_n：[task_n_1，task_n_2，...]

现在我想按顺序运行文件任务（可以同时处理不同的文件＆＃39;任务），我应该如何设计KAFKA主题或分区以实现此目的，或者您有其他MQ选项：

1. 每个消费者流程都是无国籍的。
2. 每项任务至少会处理一次。
3. 在消费者进程被终止，重新启动或添加新进程后，它将自动进行负载平衡。

任何建议将不胜感激，为我的英语池道歉。

Answer 1

这些问题在Kafka文档中得到了很好的解决。您提出的一些问题是您可以阅读的基本Kafka功能（例如，消费者组自动平衡和消息传递保证）。请参阅：https://kafka.apache.org/documentation/