我是Kafka Connect的新手。我有一个如下的用例:
有一个共享的主题,我在其中获得不同实体的消息,例如员工,部门(实际表名不同)
员工和部门的架构已在架构注册表中注册
使用Kafka接收器连接器,是否可以基于架构分离每个实体的数据并写入相应的表 例如,进入主题的员工数据应转到员工表,部门数据应转到部门表
如果没有,还有其他更好的方法吗?
答案 0 :(得分:0)
一次只能为一个表配置一个连接器。
因此,除了将"entityType"
之类的字段添加到数据本身并在数据库层中进行过滤之外,我相信管理此问题的唯一方法是将Kafka Streams(或KSQL)转换为{{1 }}找出两种可能的数据类型,然后向它们发送filter()
另一个主题,您正在运行Connect,并且正在监听两个主题,这两个主题将写入各自的表中。