我需要构建一个Data Studio仪表板并使用BigQuery数据集中的数据。
我已使用数据融合从本地MS SQL服务器将数据导入到BQ，并且要求我必须删除记录的最后5天，并在相同时间范围内导入新的更新记录。 BQ数据集中的记录...
到目前为止，我已经可以使用管道完成所有工作，但是当我运行管道时，它确实将数据再次追加到了BQ表中，最终得到了重复的数据。
我正在寻找一种方法来对BQ中的数据进行一些处理，然后再从管道中接收新数据。数据融合中有什么可以帮助您解决此问题的吗？
致谢
答案 0 :(得分：2)
我们最近将此功能添加到了google-cloud插件中。您可以检查changes here - Google-Cloud-Plugin PR#140。您可以等待更新版本的google-cloud插件发布，也可以在本地进行构建并将其安装在要测试此功能的Data Fusion实例中。
希望这会有所帮助。