雪花:数据从AWS US拆分到AWS Australia

时间:2020-02-14 06:14:30

标签: amazon-web-services ssis replication snowflake-cloud-data-platform

AWS美国地区的SNOWFLAKE数据库中有10TB的数据。要求是将列中具有特定标志的数据子集拆分到AWS澳大利亚区域。
拆分之后,美国数据将约为6TB,澳大利亚数据将约为4TB。 有10个应用程序包含此混合数据。 我可以想到3个选项来进行此拆分。

1。将整个数据库从A复制到B。然后在中断复制之前暂停应用程序。在B中,删除B数据库中的数据,其中filter是A的数据。在A中,重复删除操作,其中过滤器是B的数据。克隆应用程序集并配置新集以读取/写入B

2。将B中的CTAS与A

中的数据一起使用

3。使用SSIS将数据从A推送到B。使用此选项,无需停止应用程序。

请告知这些选项,以及是否有其他选项可以实现此数据拆分。

关于, 玛尼

1 个答案:

答案 0 :(得分:0)

这10个应用程序如何访问雪花表的整个设置尚不清楚,但是对于提供解决方案很重要。

在两个雪花帐户上同步数据的最佳选择是使用数据库复制故障转移: https://docs.snowflake.net/manuals/user-guide/database-replication-failover.html

使用具有包含此字段的where子句的实例化视图,可以轻松地基于字段拆分数据。 https://docs.snowflake.net/manuals/user-guide/views-materialized.html