如何使用雪管覆盖雪花中的数据

Question

我在 Snowflake 中创建了一根雪管。 但我无法覆盖其中的数据。 有没有办法在复制我的数据之前在雪管中使用删除或覆盖？

Answer 1

您可以创建一个存储过程来依次执行以下任务：

• 截断表格
• 执行复制命令

如果您想在任何特定时间加载数据，那么您可以使用 task 安排存储过程。

Answer 2

将数据从 Snowpipe 加载到临时/暂存表并在那里处理是正常做法 - 怀疑您是否可以在 Snowpipe 中处理它。

能否更详细地解释一下您要如何/为什么要覆盖 Snowpipe 中的数据？您能否举例说明您正在努力实现的目标？

答案 2

Snowpipe 用于从流中连续加载数据，所以我不确定您为什么要使用它来每天加载单个数据集？

我会创建一个标准的 COPY INTO 进程，然后将它包装在一个处理目标表删除的存储过程中。然后，您可以安排它每天运行。