雪花如何在内部将数据存储到Micro分区中

时间:2020-01-27 05:59:06

标签: snowflake-cloud-data-platform

我很想了解将数据存储到Micro-partitions中的Snowflake过程。据我所知,雪花每个分区的大小为50-500MB。

假设我的文件大小为1GB,我想将此数据加载到雪花中。有人可以解释一下雪花将数据存储到微型部件中的内部过程/步骤

2 个答案:

答案 0 :(得分:3)

Snowflake的微分区文件格式是专有的,因此您不会获得比文档中已有的更多信息(除非有人违反了Snowflake的雇用合同)

答案 1 :(得分:0)

要优化加载的并行操作次数,Snowflake建议压缩后的文件大小在 10 MB至100 MB之间。将大文件拆分为大量小文件,可以在活动仓库中的服务器之间分配负载,并提高性能。

https://docs.snowflake.net/manuals/user-guide/data-load-considerations-prepare.html#general-file-sizing-recommendations