从红移

时间:2018-04-16 07:12:43

标签: amazon-web-services amazon-s3 gzip amazon-redshift

我正在尝试从Redshift卸载一个大表到S3。我使用和不使用GZIP选项尝试了两次命令。我注意到在没有GZIP的情况下运行命令时,随着时间的推移,它会在S3中生成越来越多的文件。它在两小时内生成了大约150个文件。当我意识到我没有指定GZIP时,我取消了查询,然后在GZIP上重新运行命令。它在两小时后没有生成任何文件。

UNLOAD ('select * from bigtable') to 's3://location/bigtable.csv'
CREDENTIALS 'cred' delimiter as ',' 
allowoverwrite addquotes escape parallel true gzip;

从存储角度来看,我更愿意使用GZIP。但是,这会增加操作风险,就好像查询在2小时后失败一样,我最终根本没有卸载文件。

我试图在AWS的文档中看到差异,但除了GZIPcompresses data之外没有看到太多有用的信息。

有没有人能帮助我解决GZIP引起的这种行为差异背后的根本原因?

0 个答案:

没有答案