hadoop与雪花中的数据存储复制

时间:2019-07-24 08:40:32

标签: hadoop snowflake

在hadoop中,数据被复制三次(默认)以实现容错 例如:如果输入数据大小为5 gb,则将以15 gb复制数据,并在转换后将该数据存储在其他存储区(5GB)中。 总计(在hadoop中)= 25gb

然后如何在雪花中存储和复制数据。与hadoop相比,雪花架构中是否有任何存储复制? 雪花=?

1 个答案:

答案 0 :(得分:1)

Snowflake本身不复制数据,但是,它使用特定于云供应商的对象存储,该对象存储通常提供多个复制级别(例如,S3 in Amazon AWS 用于AWS托管的Snowflake地区)。另请参见section 4.2.1 in Snowflake's 2016 SIGMOD paper

如果您是从成本角度出发,则该复制对于用户是隐藏的,“定价”是用户支付的费用。请注意,Snowflake会对压缩数据大小收费。根据数据,该大小可以小于或大于输入大小。