如何将分割的gzip文件中的数据加载到redshift中？

Question

我可以将分割的gzip文件中的数据加载到亚马逊红移表中吗？

我可以从单个gzip文件或分割的文本文件加载数据。

但我可以从拆分的gzip文件中加载数据吗？

Answer 1

我在这里假设你的意思是你有多个CSV文件，每个都是gzip压缩文件。

首先，将每个文件上传到相同前缀和分隔符下的S3存储桶。

s3://S3_BUCKET/S3_PREFIX/file0.gz s3://S3_BUCKET/S3_PREFIX/file1.gz

然后，执行Redshift copy命令：

copy TABLE_NAME from 's3://S3_BUCKET/S3_PREFIX' credentials 'aws_access_key_id=ACCESS_KEY;aws_secret_access_key=SECRET_KEY' csv gzip

• 指定S3存储桶和前缀
• 包含有权读取S3对象的凭据
• 确保目标表已存在且列具有与CSV
兼容的列
• 指定csv和gzip选项

Also, it's a good idea to have your file count proportional to the number of nodes in your cluster.