如何增加雪管仓库大小

Question

我知道snowpipe使用内部仓库snowpipe。

但是，我需要使用snowpipe 加载30GB 大小的单个大文件（连续数据摄取，文件每周但随时到达S3 一次）。

而且我们无法控制拆分文件或更改格式。

有没有一种方法可以将雪管仓库的大小定义为大或超大。

或者如果不是，那么处理这种情况的最佳方法应该是什么，以便更快地加载文件

Answer 1

Snowpipe 的操作与直接运行 COPY 命令没有什么不同。仓库的大小对加载单个文件的速度没有影响。更大的仓库的好处是可以并行加载的文件数量，这就是最佳实践是将文件拆分为更小的部分的原因。如果您确实没有能力拆分文件（或创建一个 Lambda 进程来为您拆分 S3 上的文件），那么您将无法控制该文件加载到 Snowflake 的速度。

我将探索您是否能够使用 Lambda 或其他一些脚本来运行命令，将位于 S3 上的文件拆分为多个文件，并将这些较小的文件放入 Snowpipe S3 存储桶中。如果您能做到这一点，Snowpipe 将并行加载文件，并且对您来说效率更高。

Answer 2

Snowpipe 使用 Snowflake 提供的计算资源，所以没有办法设置仓库的大小。