为kafka中基于正则表达式的主题指定默认分区和复制因子

时间:2019-02-13 07:22:56

标签: apache-kafka kafka-producer-api kafka-topic

背景: 我在kafka server.properties文件中设置了默认的分区数= 1,复制因子= 3,并启用了主题创建。 Kafka群集同时运行身份验证和授权。对于某些主题,我仅向一个用户授予创建,读取,写入的权限,并且该权限基于诸如foo。之类的主题前缀。该用户有权创建和使用以foo开头的主题。现在,我要创建所有foo。主题,其默认分区为3,复制因子为6(这与服务器属性中的全局默认值不同)。主题创建是动态的,名称事先未知。

问题: 是否可以为foo。*类型的主题指定不同的默认分区和复制因子?如果不是这样,从生产者的角度来看,实现此目标的最佳方法是什么?

我知道KafkaAdmin实用程序,但是主题创建将在生产者上进行,出于安​​全原因,我不想将存储在zookeeper中的元数据的管理员权限授予运行生产者的用户。

谢谢!

1 个答案:

答案 0 :(得分:0)

没有这样的属性。您将不得不做一些主题创建代理的事情,以允许这样的自定义逻辑。

或编写一个Kafka改进建议(KIP),也许可以添加该功能;)