我很想了解将数据存储到Micro-partitions中的Snowflake过程。据我所知,雪花每个分区的大小为50-500MB。
假设我的文件大小为1GB,我想将此数据加载到雪花中。有人可以解释一下雪花将数据存储到微型部件中的内部过程/步骤
答案 0 :(得分:3)
Snowflake的微分区文件格式是专有的,因此您不会获得比文档中已有的更多信息(除非有人违反了Snowflake的雇用合同)
答案 1 :(得分:0)
要优化加载的并行操作次数,Snowflake建议压缩后的文件大小在 10 MB至100 MB之间。将大文件拆分为大量小文件,可以在活动仓库中的服务器之间分配负载,并提高性能。