我正在研究kafka,火花流媒体并试图实现和解。
制作人消息:由','分隔的大约5个字段其中一个是UUID(唯一标识符) 例如:A,B,制片人,UUID_1,E
消费者消息:由','分隔的大约5个字段其中一个是UUID 例如:A,B,消费者,UUID_1,E
此处UUID是生产者和消费者之间的关系,它是动态
在kafka中,我需要某种过滤,通过这种过滤,所有特定的生产者/消费者消息都将出现在一个特定的主题或分区中。
我确实有如下想法,但无法实现它:
根据我的研究,不允许使用动态分区,这是正确的吗?
所以我看到的唯一选择是,根据收到的UUID创建一个动态主题,然后将每个UUID特定消息路由到该主题,一旦消息被消费,就需要删除主题。这是正确的方法,如果是,如何实现这一目标?
答案 0 :(得分:0)
根据我的研究,不允许使用动态分区,这是正确的吗?
分区可以增加,但不能减少。
根据收到的UUID
创建动态主题
不要这样做,它违反了主题语义,主题意味着同样的消息 只需将“UUID_1”设置为消息“密钥”字段,因为Kafka会将相同的“密钥”消息发送到与“密钥”散列相同的“分区”。