我正在为kafka connect平台实现自定义SincConnector,它将记录从kafka主题到自定义系统的记录。 所有kafka connect组件都托管在内部。 自定义SincConnector打包到jar文件中,并添加到kafka connect插件中。
它适用于1个主题,但不适用于多个主题。
Kafka版本为1.1.0
连接器的属性:
forcive.automatic.mapping = true
forcive.batch.max.documents = 100
forcive.cas.name = SAP_counters
forcive.fields.mapping =
forcive.ip = 192.168.100.78
forcive.library.name = SAP_counters
forcive.password = [hidden]
forcive.port = 26991
forcive.primary.key.behavior = Iterate
forcive.primary.key.fields = []
forcive.profile.name = SAP_counters
forcive.repository.connection.string =
forcive.repository.name =
forcive.user = root
topics = [counter_2_prepared_filtered, counter_1_prepared_filter, counter_3_prepared_filtered, counter_4_prepared_filtered]
connector.class = com.forcive.kafka.connect.sink.ForciveSinkConnector
header.converter = null
key.converter = null
name = 559e3dda-5d79-4d14-b767-1d41325b8b4c-0
tasks.max = 1
transforms = []
value.converter = null
SincConnector仅从第一个主题摄取数据。 更改task.max计数无济于事-创建新任务,但所有任务都绑定到第一个主题,并收到0条记录,因为每个主题都有1个分区。
根据docs融合平台,应将所有4个主题的数据发送到sinc连接器的同一实例中。
JDBC sinc connecotr也是如此-它仅从第4个主题中提取数据。
我不知道自己在做什么错,如果有人可以提出要检查和调查的想法,我将非常高兴。