转移1TB文件夹＆amp;从vps Web服务器到AWS S3的文件

Question

我需要将所有文件（使用文件夹结构）传输到AWS S3。我已经研究了很多这方面的工作。

大多数地方都提到 s3fs 。但看起来这有点旧。我试图将s3fs安装到我现有的CentOS 6 Web服务器上。但它坚持 $ make 命令。 （是的，有Makefile.in）

而as per this answer AWS S3 Transfer Acceleration是下一个更好的选择。但我仍然需要编写一个PHP脚本（我的应用程序是PHP）来将所有文件夹和文件传输到S3。它与S3（API putObject）中的文件保存方式相同，但速度更快。如果我错了，请纠正我。

还有其他更好的解决方案（我更喜欢FTP）将包含文件夹的1TB文件从CentOS 6服务器传输到AWS S3吗？有没有办法在EC2中使用FTP客户端将文件从CentOS 6外部传输到AWS S3？

Answer 1

使用aws s3 sync的AWS Command-Line Interface (CLI)命令。

这将保留您的目录结构，并且可以在断开连接时重新启动。每次执行只会复制新的，更改的或丢失的文件。

请注意，1TB是大量数据，可以significant time进行复制。

另一种方法是使用AWS Snowball，这是AWS可以发送给您的设备。它可以容纳50TB或80TB的数据。只需将数据复制到设备，然后将其发送回AWS，他们就会将数据复制到Amazon S3。