我想安排一个将MySql数据传输到Google Bigquery的管道,但是完整的数据将附加到BQ中的旧表中,我只希望附加增量数据...
答案 0 :(得分:0)
是否可以根据数据中的列计算每次导入的差异?
答案 1 :(得分:0)
您需要具有“更新(如果存在)”示意图的功能,该示意图当前在BQ插件中不可用。我们正在努力更新插件以支持该插件(打开了JIRA https://issues.cask.co/browse/CDAP-15298)。另外,您可以在每次运行时将其写入单独的表,然后使用“合并”更新主表。打开JIRA来添加一个合并Action插件,该插件可以合并表(https://issues.cask.co/browse/CDAP-15297)