如何在没有任何手动活动的情况下将数据从Google云存储传输到S3?

时间:2019-07-04 06:57:31

标签: amazon-s3 google-cloud-storage

我想将数据从云存储桶传输到S3。我做了很多研究。我发现了一篇有趣的文章,其中可以使用gsutil命令来完成。同样,它需要手动活动。是否有任何方法可以执行此操作而无需任何手动活动,或者是否有可能通过Java API运行此gsutil命令?

我在Google云项目上创建了一个VM实例。我配置了具有我的AWS凭证的boto文件。使用gsutil命令,我能够将数据从云存储复制到s3。我想自动化此步骤< / p>

2 个答案:

答案 0 :(得分:0)

gsutil可以与Google Storage和S3一起使用。

gsutil rsync -d -r gs://my-gs-bucket s3://my-s3-bucket

您只需要使用Google和您的AWS S3凭证进行配置。 gsutil would use credentials from ~/.boto file.

有多种方法可以自动执行Shell命令。从Java的Runtime.exec()到Google Cloud Scheduler(云的cron)

答案 1 :(得分:0)

完全自动化且易于使用的方式将是Google Storage Transfer。这样一来,您就可以在S3或GCS中选择来源和目标存储段,并设置诸如“每天凌晨1点运行”之类的功能