Kafka connect:基于架构的单个主题下沉到多个表

时间:2018-07-15 11:26:08

标签: apache-kafka apache-kafka-connect confluent

我是Kafka Connect的新手。我有一个如下的用例:

  1. 有一个共享的主题,我在其中获得不同实体的消息,例如员工,部门(实际表名不同)

  2. 员工和部门的架构已在架构注册表中注册

使用Kafka接收器连接器,是否可以基于架构分离每个实体的数据并写入相应的表 例如,进入主题的员工数据应转到员工表,部门数据应转到部门表

如果没有,还有其他更好的方法吗?

1 个答案:

答案 0 :(得分:0)

一次只能为一个表配置一个连接器。

因此,除了将"entityType"之类的字段添加到数据本身并在数据库层中进行过滤之外,我相信管理此问题的唯一方法是将Kafka Streams(或KSQL)转换为{{1 }}找出两种可能的数据类型,然后向它们发送filter()另一个主题,您正在运行Connect,并且正在监听两个主题,这两个主题将写入各自的表中。