雪花中的SNOWPIPE是否100％可靠？

Question

我已经使用 snowpipe 从 AWS S3 到 Snowflake 检索数据，但是在我的情况下，它无法正常工作。有时文件没有处理成雪花。

是否可以使用其他替代方法？

Answer 1

AWS S3的事件处理被认为是不可靠的，因为事件可能延迟几分钟才到达（这是一个AWS问题，但会影响Snowpipe）。

补救措施是将任务安排为定期（至少每天一次）执行：

ALTER PIPE my_pipe REFRESH [ PREFIX = '<path>' ];

请使用前缀，以避免在大型S3存储桶中扫描未处理的物品。另外，请注意Snowflake关于Amazon何时解决S3事件问题的公告，因此您可以删除任何  不必要的REFRESH任务。

如果您有例如。 YYYY/MM/DD/存储桶结构，很不幸，这意味着您必须创建一个存储过程才能使用动态PREFIX ...

运行命令

我在Snowpipe中使用了这种组合（PIPE / REFRESH TASK）

Answer 2

回答您的问题：是的。过去，我在生产（AWS）的多个场合都使用过它，并且按预期工作。