当我们运行bigquery transfer(youtube)回填时。
bigquery transfer backfill如何保证不会插入重复的记录?
这不是一个你可以做的数据库"如果是新的插入,如果旧更新"。 Bigquery转移是删除和插入,对吧?
那么bigquery转移回填会删除回填计划日期的旧数据,然后重新插入数据吗?
我想弄清楚有时我得到零数据但转移状态是否完整。
在我多次测试中,似乎旧数据未被删除。但是在一次测试中,我确实看到旧数据在回填中被删除了。 (我无法重新制作它。)
答案 0 :(得分:2)
BigQuery DTS回填确实是写截断操作(删除和插入)。 这听起来像你解决了自己的问题:两次转移回填到同一个表可能会导致问题。