我正在尝试从Redshift
卸载一个大表到S3
。我使用和不使用GZIP
选项尝试了两次命令。我注意到在没有GZIP
的情况下运行命令时,随着时间的推移,它会在S3中生成越来越多的文件。它在两小时内生成了大约150个文件。当我意识到我没有指定GZIP
时,我取消了查询,然后在GZIP
上重新运行命令。它在两小时后没有生成任何文件。
UNLOAD ('select * from bigtable') to 's3://location/bigtable.csv'
CREDENTIALS 'cred' delimiter as ','
allowoverwrite addquotes escape parallel true gzip;
从存储角度来看,我更愿意使用GZIP。但是,这会增加操作风险,就好像查询在2小时后失败一样,我最终根本没有卸载文件。
我试图在AWS的文档中看到差异,但除了GZIP
compresses data之外没有看到太多有用的信息。
有没有人能帮助我解决GZIP引起的这种行为差异背后的根本原因?