我是Kafka和数据架构流的新手,我对主题设计和拓扑有疑问。
我的流程真的很标准。
我想做的是能够在这些主题之间动态插入自定义流处理器。
例如,在主题T2之后和T3之前的消息中添加另一个参数。因此,我将创建一个主题T2.5,然后重新路由T2以发送到T2.5,并将T2.5发送到T3。
一种方法是更新T2和T3连接器,然后通过Connect REST API插入另一个。但是为此,我将不得不为我拥有的每个新需求/案例创建一个自定义连接器。
还有另一种方法吗?
我也将接受这样的回答,即我的拓扑/体系结构不是针对kafka主题的最佳选择,但请提供您建议的替代示例