Kafka sink connect - 如何为每个主题创建一个任务（表）

Question

我们已经为名为Ampool AD​​S的产品实施了一个kafka接收器连接器，它将来自kafka主题的数据输入到相应的安瓿表中。主题和表格按名称进行映射。

我需要处理单个主题（从主题---＆gt;表中提取）到专用的接收器任务中。

因此，例如，如果我的配置包含3个不同的主题（topic1，topic2，topic3），则Sink连接器应创建3个不同的sink任务，每个任务（每个表）并行地专门提取到它们各自的/映射表。

注意：如果特定表处于脱机/未创建状态，将单个主题处理到专用接收器任务背后的原因是使用RetriableException机制很简单。在配置的时间间隔后，只会重播单个主题/表记录。

这是否可以使用kafka连接框架，如果是这样的话......？

Answer 1

如果您将任务数设置为等于分区数（我认为您可以从连接器代码执行此操作 - 在创建配置时），那么每个任务将只获得一个分区。