将数据从本地传输到AWS的最佳方法

时间:2019-03-23 09:48:47

标签: amazon-web-services amazon-s3 migration

我需要将数据(一次)从本地传输到AWS S3。数据大小约为1 TB。我正在查看AWS Datasync,Snowball等...但是,如果数据以PB为单位,则这些托管服务最好迁移。有人可以建议我以经济有效的方式以安全的方式传输数据的最佳方法

4 个答案:

答案 0 :(得分:1)

如果您没有特殊要求(除了需要加密并且文件大小为1TB的事实),那么我建议您坚持简单明了的做法。 S3支持5TB的对象大小,因此您不会遇到麻烦。我不知道您的数据是由许多较小的文件还是1个大文件(或zip)组成,但实际上它们都是一样的。由于端点或全部加密,因此应该没问题(如果您担心,可以先加密文件,然后在存储时将文件加密(如果备份了某些东西)。要明确一点,可以使用API​​工具传输或只是文件浏览器类型的工具,它们也可以连接到S3(例如https://www.cloudberrylab.com/explorer/amazon-s3.aspx)。其他一点:存储/传输的成本效益都取决于您需要数据的频率,无论是备份还是备份。以防万一,存档到冰川要便宜得多。

答案 1 :(得分:1)

您可以使用AWS Command-Line Interface (CLI)。此命令会将数据复制到Amazon S3:

aws s3 sync c:/MyDir s3://my-bucket/

如果网络出现故障或超时,只需再次运行命令。它只会复制目标中尚不存在的文件。

所需时间取决于您的Internet连接速度。

您还可以考虑使用 AWS Snowball ,这是一种发送到您所在地的硬件。它可以容纳50TB的数据,价格为200美元。

答案 2 :(得分:0)

1 TB很大,但还不算大,要花费数周的时间将数据存储到S3上。但是,如果上传速度不理想,请使用 Snowball

https://aws.amazon.com/snowball/

Snowball是出厂时可以容纳的100TB设备。您将数据加载到数据上,然后将其发送回AWS,他们将把数据上传到您在加载数据时指定的S3存储桶。

答案 3 :(得分:0)

这可以通过多种方式完成。

  1. 使用 AWS Cli,我们可以将文件从本地复制到 S3
  2. 使用 FTP 或 SFTP (AWS SFTP) 的 AWS 传输

refer

  1. 有像 cloudberry 客户端这样有 UI 界面的工具
  2. 您可以使用 AWS DataSync 工具