通过自定义验证将登台表数据传输到Snowflake中的事实表的过程

Question

美好的一天。 我需要帮助。当舞台表中有可用数据时，我想自动 将雪花中的数据从登台表传输到事实表 。在将数据从暂存表移至事实表时，我在每个列和行上都有几个自定义验证。 任何想法如何在雪花中做到这一点。 如果有人知道你可以建议我...！ 在此先感谢...！

Answer 1

假定“登台表”是指雪花表而不是雪花阶段中的文件，我建议为此使用流和任务。流将标识需要加载的数据增量，并且Task可以按计划执行，并且仅在流中有数据时才实际运行某些任务。创建一个在任务中执行的存储过程，以运行您的验证并将这些验证的结果合并到事实中。

Answer 2

执行此操作的方法有很多，如何进行取决于您可用的工具。无需使用Snowflake生态系统之外的工具即可完成此操作的最简单方法是：

1. 在您拥有的每个登台表上，在这些表上设置流（here is the Snowflake documentation on streams）
2. 创建一个按计划运行的任务（here is the Snowflake doc on tasks），以从流中提取并写入事实表。

这实际上是一个普遍的数据仓库问题，而不是一个雪花问题。 Here is some more documentation关于构建SCD 2型尺寸，该尺寸也是由Snowflake的某人编写的