Kafka JDBC连接器中的自定义分区分配

时间:2019-03-15 18:10:23

标签: java apache-kafka apache-kafka-connect

我有一个用例,需要根据消息中的某些关键参数编写自定义逻辑来分配分区。我对此进行了一些研究,发现kafka转换支持重写Transformation接口中的某些方法,但是我无法在git hub或其他地方执行一些示例代码。有人可以共享示例代码或git hub链接在kafka JDBC源连接器中进行自定义分区分配吗?

提前谢谢!。

1 个答案:

答案 0 :(得分:2)

Kafka Connect 默认情况下使用以下方式分配分区:DefaultPartitionerorg.apache.kafka.clients.producer.internals.DefaultPartitioner

如果您需要使用某些自定义覆盖默认值,则可以,但必须记住,覆盖适用于所有源连接器。 为此,您必须设置producer.partitioner.class的{​​{1}}属性。 另外,您必须将带有分区程序的jar复制到带有Kafka Connect库的目录中。

转换方式:

在Transformation中也可以设置分区,但这不是正确的方法。 您无法从producer.partitioner.class=com.example.CustomPartitioner访问主题元数据,这对于分配分区至关重要。

无论如何,如果您想为记录设置分区,则代码应如下所示:

Transformation