如何直接在s3上解压缩s3上的文件？

Question

我在s3上有一个10G文件.tar文件，我想对该文件解压缩并将未压缩的文件保留在s3上。

有没有可以针对s3运行的简单命令？

还是我必须自己在本地解压缩文件，然后将单个文件自己上传回s3？

谢谢

Answer 1

在Amazon S3上没有操作文件内容的命令。

您将需要下载文件，解压缩/解压缩，然后将内容上传到S3。

这将在与存储桶相同的区域中的Amazon EC2实例中最快地完成。您可能也可以编写AWS Lambda函数来执行此操作，但要注意500MB /tmp磁盘空间限制。

Answer 2

但是，您可以将S3存储桶作为S3FS安装在EC2上。

有关如何安装的更多详细信息：https://cloudkul.com/blog/mounting-s3-bucket-linux-ec2-instance/

安装后，您可以读写文件。

Answer 3

您可以从 Amazon CLI 或新的 Amazon CloudShell 执行此操作，使用类似

的命令

aws s3 cp s3://bucket/data.tar.gz - | tar -xz --to-command='aws s3 cp - s3://bucket/$TAR_REALNAME'

注意所有那些悬空的 '-' 字符对于管道到 stdout/stdin 很重要