Maxwell hash（sql_column）写入kafka分区

Question

我正在使用Maxwell将更改从MySql数据库写入Kafka 0.9.0，有没有办法配置Maxwell，所以它可以通过列上的哈希函数对不同主题的数据进行分区？ / p>

Answer 1

您可以为database | table | primary_key | column配置参数指定producer_partition_by。

如文档here中所示，

  

HASH_FUNCTION（HASH_STRING）％TOPIC.NUMBER_OF_PARTITIONS

     

HASH_FUNCTION是java的hashCode或murmurhash3。该   默认HASH_FUNCTION是hashCode。 Murmurhash3可能会被设置为   kafka_partition_hash选项。 murmurhash的种子价值   函数在MaxwellKafkaPartitioner类中被硬编码为25342。

     

HASH_STRING可以是（database，table，primary_key，column）。该   默认HASH_STRING是数据库。分区字段可以是   使用producer_partition_by选项配置。