如何自动将大量数据从AWS S3备份到Microsoft Azure

Question

我们正在使用AWS S3存储和存储我们的内容。我们希望将该数据备份到Microsoft Azure存档存储。我试图找到一个有关如何实现此目标的教程，但是我发现一些答案与过期的资源有关。

我们已经拥有超过30 TB的存储空间，并且每隔几天就要增加大约1 TB的存储空间，将来有可能超过每天1 TB的存储空间。

我们如何以这种规模自动将数据从S3复制到Azure？

Answer 1

有两种可能的方法：将数据从S3传输到Azure存储：使用Azure数据工厂，可以在此处找到完整的文档： https://docs.microsoft.com/en-us/azure/data-factory/connector-amazon-simple-storage-service

“支持的功能 您可以将数据Amazon S3复制到任何受支持的接收器数据存储。有关复制活动支持作为源或接收器的数据存储的列表，请参阅支持的数据存储表。 具体来说，此Amazon S3连接器支持按原样复制文件或使用支持的文件格式和压缩编解码器解析文件。“

或者您可以使用AzureCopy： https://github.com/kpfaulkner/azurecopy （不是Microsoft产品） 由于您提到的是大量数据，因此第一种选择可能是最好的。 您可能还必须在传输时手动将访问层切换为存档。