Nifi:使用PublishKafka创建具有特定数量的分区/复制因子的Kafka主题

时间:2020-03-10 14:09:58

标签: apache-kafka apache-nifi

我正在使用Apache Nifi版本 1.10.0 。我已经使用PublishKafka_2_0处理器将一些数据从Nifi放入Kafka。我有三个与卡夫卡并驾齐驱的卡夫卡经纪人。我从Nifi获取数据,但是在Nifi中创建的主题的复制因子为1,分区为1。

在PublishKafka中创建新主题时,如何更改复制因子和分区的默认值?换句话说,我希望处理器使用partitions=3replication-factors=3而不是1创建新主题。 我了解可以在创建主题后更改此设置,但我希望在创建时可以动态完成。

1 个答案:

答案 0 :(得分:2)

如果我正确理解了您的设置,则说明您是依靠客户端来创建主题,即在NiFi尝试为不存在的主题生成/消费/获取元数据时创建主题。在这种情况下,Kafka将为代理配置中定义的新主题使用num.partitionsdefault.replication.factor设置。 (两种情况下,Kafka的默认值均为1。)当前,更新server.properties中的这些值是控制自动创建的主题配置的唯一方法。

KIP-487正在研究中,以允许生产者控制主题的创建(而不是服务器端的,一劳永逸的裁决),但是即使在该实现中,也没有计划让客户端来控制分区数或复制因子。