如何从大表复制到雪花中的另一个表?

时间:2021-06-15 01:53:10

标签: snowflake-cloud-data-platform

我有一个 7TB+- 的雪花桌,我想把那张桌子的一半传给一张新桌子。例如使用国家过滤器。你会推荐什么技术?插入 select * from TABLE where COUNTRY = 'A' 或使用雪管将镶木地板格式发送到 S3 然后复制到表中到雪花目标表

我尝试了第一个选项。 5 小时后,过程进行了 35%。我读过一篇文章,其中有人不得不将集群扩展到 XL 实例。他阅读了另一篇文章,其中雪管是不错的选择。我的集群只是一个 XS :(

顺便说一下,我有集群键,任务是按公司政治按国家/地区细分数据。

原始表格是关于来自安装了该应用的设备的事件。每会话分钟 30 个事件,例如 Uber 应用或 Lyft 应用

1 个答案:

答案 0 :(得分:1)

MV 肯定会比标准视图性能更高,但会产生额外的成本,因为 Snowflake 必须使 MV 与表保持同步。听起来表格会快速变化,因此此费用将是连续的。

另一种选择是在源表上创建一个流,并使用任务将流数据合并到目标表中。任务需要一个正在运行的仓库,但我发现 XS 仓库的功能非常强大,因此您每天至少需要 24 个学分。任务也有至少 1 分钟的间隔,因此如果您需要前沿技术,可能会忽略此选项