stage 数据覆盖导致 stage 和雪花表数据不一致

Question

我们有计划任务使用 copy into 语句将数据从 s3 加载到雪花表。 但是，由于以下原因，我们观察到数据计数不一致：

1. 在表很少的情况下，s3 中某些日期的数据会被覆盖。
2. 在雪花中再次加载更改的数据，但仍然是旧数据

我们可以通过什么方式解决此问题？ 任何帮助是极大的赞赏。谢谢！

Answer 1

Snowflake 永远不会覆盖现有数据。加载数据不执行更新，它只是添加数据。您可以 a) 在加载前从表中删除，b) 使用 STREAM 处理数据更改。