将csv文件加载到雪花表的最佳方法是什么?

时间:2020-07-27 06:25:47

标签: csv load loading

我的情况:我有很多压缩的csv文件(也许数百个)。 我的任务:将所有内容加载到雪花表,使用“从@ STAGENAME / internaldirectory /复制到表中”之类的SQL。所有文件都在一个s3目录中。 这可以通过两种方式完成:

  1. 为每个文件COPY into table from @STAGENAME/internaldirectory/f1.csv.gz, ...制作sql,并在10个线程中并行运行它。
  2. 使sql可以加载所有文件,例如:COPY into table from @STAGENAME/internaldirectory/ pattern = '.*'

问题:什么是最好的方法?我的意思是更快,更便宜?

0 个答案:

没有答案