kafka主题名称更改而不更改消费者

Question

我们计划从kafka主题名称中删除版本。当前，相关消息的模式版本构成主题名称的一部分。但是将来，我们会在消息中产生大量的小变化，并且我们不想创建太多主题。但是这些主题已经有很多消费者。我们不希望所有这些主题都进行更改（仍应尝试使用带有版本号的主题）。如何做到这一点？是否有任何工具（例如AVRO）可以帮助实现这一目标？有没有人遇到过类似的问题。第二个问题-消费者如何在结构相同的微小变化下区分消息。

Answer 1

如果我理解正确，我会建议：

• 关于第一个问题：

pattern = Pattern.compile("topic_name_without_schema_version.*");
kafkaConsumer.subscribe(pattern, new ConsumerRebalanceListener());

• 关于第二个方面：您想实现哪种差异？如果您只想知道当前消息是否与最新的Avro Schema不兼容，则可以尝试转换当前消息并捕获Exception（如果有），或者可以基于当前消息生成Avro Schema，并检查两个方案是否相等