AWS CLI:AWS在2个不同的s3提供程序之间同步

时间:2018-11-19 19:19:18

标签: amazon-web-services amazon-s3

有人可以在两个不同的s3提供程序之间同步存储桶吗?

例如一个是Amazon S3,第二个是Wasabi S3?

这涉及2个不同的端点和2个不同的凭据集。

最好先不本地存储数据,大约要存储1百万个文件。

2 个答案:

答案 0 :(得分:1)

有一个很棒的开源工具“ rclone”可以解决这个问题。

它允许在任何两个S3兼容对象存储之间进行同步-我将它用于Minio到AWS S3

https://rclone.org/commands/rclone_sync/

答案 1 :(得分:0)

这不可能。

在Amazon S3中,即使在不同的区域中,也可以直接在两个存储桶之间进行复制,因为每个区域中的S3服务都可以相互通信。

使用非Amazon服务是不可能的。

因此,最好的选择是启动一个EC2实例,使用aws s3 sync下载文件,然后使用aws s3 sync(具有不同的端点和凭据)连接到Wasabi。

与S3兼容的提供程序可能提供一种更简单的方法,但Wasabi似乎建议使用“下载并复制”方法:How do I copy files from AWS S3 to Wasabi? – Wasabi Knowledge Base