使用Cloud Data Fusion从MySql在Bigquery中附加增量数据

时间:2019-04-24 13:17:41

标签: cloud google-cloud-data-fusion

我想安排一个将MySql数据传输到Google Bigquery的管道,但是完整的数据将附加到BQ中的旧表中,我只希望附加增量数据...

2 个答案:

答案 0 :(得分:0)

是否可以根据数据中的列计算每次导入的差异?

答案 1 :(得分:0)

您需要具有“更新(如果存在)”示意图的功能,该示意图当前在BQ插件中不可用。我们正在努力更新插件以支持该插件(打开了JIRA https://issues.cask.co/browse/CDAP-15298)。另外,您可以在每次运行时将其写入单独的表,然后使用“合并”更新主表。打开JIRA来添加一个合并Action插件,该插件可以合并表(https://issues.cask.co/browse/CDAP-15297