使用Kafka Connect从IBM MQ读取时保留消息顺序

Question

在使用Kafka Connect IBM MQ源连接器使用5个任务的并行度从IMB MQ读取数据时，是否可以保留消息顺序（将具有相同密钥的消息分配给相同分区）？

Answer 1

默认情况下，使用源连接器复制的邮件将具有null键。您可以使用Kafka SMTs来为您的消息创建密钥。在连接器的配置中，以下几行应该可以解决问题（确保将messageId替换为您要用作键的字段）：

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=messageId