AWS S3 Gzip非常慢

Question

我有一个200GB的大文件坐在S3实例上，我正在考虑将它移到我当地做一些工作。我的想法是首先gzip文件然后scp到我的本地机器，以减少S3的IO成本，并节省一些时间。

然而，S3中的gzip步骤需要很长时间。 我的想法是S3实际上是一个大磁盘，不知何故，数据实际上流回EC2然后再回到S3并且IO花费了太多时间。

我想知道如何解决这个问题。

Answer 1

S3并不是一个很大的磁盘。有些层可以使它看起来像一个，但它最终不会像一个一样运行。使用磁盘读取和写入块，使用s3，可以读取/写入整个对象。

我猜你正在尝试用s3fs做这个，它在对它们进行任何操作之前将文件本地复制到/ tmp中。