选择主题中的分区数量?

时间:2017-11-02 07:55:47

标签: apache-kafka kafka-producer-api

如何选择主题分区数量的过程?

如果记录根据密钥进行分区并且密钥多于分区,会发生什么?

是否只有一种方法可以将具有相同键的记录转到一个分区?开发人员不能自定义吗?

1 个答案:

答案 0 :(得分:0)

  • 您可以在创建主题时指定分区数。稍后您可以增加分区数
  • 如果在kafka中使用默认分区程序类,则具有相同键的所有记录将转到一个分区。

    return Utils.abs(Utils.murmur2(record.key())) % numPartitions;

  • 您可以指定自己的分区器类并实现您想要的任何逻辑。为此,您需要使用自己的实现覆盖生产者属性partitioner.class