在Kafka Connect中对连接器使用多种配置还是多项任务?

时间:2019-08-26 06:53:52

标签: apache-kafka apache-kafka-connect

我有一个问题,当为数据库中的大量表配置kafka连接器时,哪种方法才是最佳方法。

例如,如果我有一个包含20个表的大型数据库模式(所有表都以id为键),这是正确的方法。我要创建一个包含20个任务的单一连接器配置,还是为表的子集创建一个单独的配置是有意义的。

我了解使用这种方法时围绕可维护性的缺点以及灵活性的相应优点。但是,从性能或容错性的角度来看,这有很大的不同吗?

即使每个配置都涉及相同的连接器和相同数量的任务,是否也会产生额外的开销?单个失败的任务还需要重新启动连接器吗?

0 个答案:

没有答案