可以在Redshift中加载一个多个CSV的gzip文件

时间:2017-11-23 07:37:38

标签: csv amazon-web-services amazon-s3 amazon-redshift

我正在尝试将包含多个CSV文件的压缩文件加载到Redshift中。我关注了AWS文档Loading Compressed Data Files from Amazon S3。但是,我不确定我是否能够做到以下事项:

我有一个表的多个CSV文件:

table1_part1.csv
table1_part2.csv
table1_part3.csv

我将这三个文件压缩为一个table1.csv.gz

我可以使用COPY命令将此gzip文件加载到Redshift表中吗?

2 个答案:

答案 0 :(得分:1)

不,你不能;但是使用复制命令你可以给出一个文件夹名称(包含所有zip文件)或外卡..所以不要将它们压缩成一个文件,但独立文件可以正常工作。

答案 1 :(得分:0)

您可以通过创建一个Menifest文件来实现,该文件应包含所有CSV文件的链接,并在复制命令中指定Menifest文件,如 -

copy customer
from 's3://mybucket/cust.manifest' 
iam_role 'arn:aws:iam::0123456789012:role/MyRedshiftRole'
manifest;

最后看到Menifest。

有关详细信息,请参阅Amazon Red-Shift Documentation。 “使用清单指定数据文件”一节。