Kafka Connect接收器“直通”连接器

时间:2019-02-21 17:19:39

标签: apache-kafka apache-kafka-connect

kafka jdbc接收器连接器是否支持将其消耗的内容写入其他主题。我正在寻找一种传递机制,如下所示。如果不是这样,我可以将一个接收器和源链接起来(从接收器写的位置读取),但不要认为这会起到性能作用。也许我可以修改现有的接收器连接器来完成此操作?

In [348]: x=np.array(None); x[()]=(0,0,0)                                       
In [349]: x                                                                     
Out[349]: array((0, 0, 0), dtype=object)
In [350]: d['coord']==x                                                         
Out[350]: 
array([[ True, False, False, False, False, False],
       [False, False, False, False, False, False],
       [False, False, False, False, False, False]])

2 个答案:

答案 0 :(得分:0)

Connect框架允许写入“死信队列”主题以记录引起错误的记录,但是Connect中没有类似tee的功能。

如果您想从接收器写入的内容中读取源代码,那么您将有两个连接器。

例如

JDBC_Sink -> DB -> Debezium -> Topic

答案 1 :(得分:0)

我建议编写一个简单的Kafka Streams应用程序,将从主题1到主题2的所有内容转发。并按原样使用连接器将主题1中的内容存储到数据库中。