卡夫卡多个主题到同一个avro文件

时间:2018-07-20 10:29:46

标签: apache-kafka avro kafka-topic

我是KAFKA协议世界的新手,我想问您一些与我的项目有关的重要信息。

我正在使用AVRO文件来生成和使用消息,我想知道是否可以对多个主题使用相同的avro文件,例如通过在生产者中使用不同的“名称”属性以及使用特定的“名称” ”中的“”属性。

非常感谢。 斯特凡诺

1 个答案:

答案 0 :(得分:0)

您可以使用一个文件将数据发送到多个主题,是的,尽管我不确定为什么会这样做

对于将多个主题合并到一个Avro文件中,我会保持谨慎,因为该架构必须在该文件的每个主题中都匹配

例如,建议您使用Confluent Schema Registry,而不是发送单独的Avro事件,因为如果不使用某些注册表,则很可能会将Avro模式作为每条消息的一部分发送,这将减慢主题的吞吐量。然后,寄存器中的Avro模式记录的名称将与主题名称相对应