StreamSets JDBC Producer CDC - 更改日志格式错误编辑

时间:2018-03-14 14:28:20

标签: jdbc mysqlbinlog streamsets

我的管道背后的想法是反映从MySQL到PostgreSQL数据库的变化。在未来,我还将进行Oracle到PostgreSQL的复制。

因此,从这个论坛和SDC文档中,我看到正确的方法是使用CDC来源。所以我使用MySQL二进制日志。我能够构建一个处理3个CRUD操作(INSERT,DELETE,UPDATE)的管道,但它使用了几个处理器(Field remover,flattener,stream selector,field renamer等):

SDC Pipeline - CRUD Operations

从我在JDBC Producer的配置中看到的,这个目标应该能够直接从一个从MySQL二进制日志Origin读取的Stream处理MySQL二进制日志,对吗?只需将JDBC Producer中的更改日志格式设置为MySQL二进制日志:

SDC Pipeline - MySQL Binary Log Option

但即使我这样做,管道也没有错误地运行,但是PostgreSQL目的地中的数据没有改变。

我错过了什么吗?在将它发送到JDBC Producer之前,是否有必要从MySQL二进制日志源处理流?如果是这样,必须做什么?

1 个答案:

答案 0 :(得分:0)

这是answer given at Ask StreamSets

你是对的,JDBC Producer可以直接从MySQL Binlog Origin处理CDC记录。在运行预览或拍摄快照时,您会看到什么样的记录?你也看到在sdc.log ??

中的INSERT,DELETE,UPDATE