我想将数据从云存储桶传输到S3。我做了很多研究。我发现了一篇有趣的文章,其中可以使用gsutil命令来完成。同样,它需要手动活动。是否有任何方法可以执行此操作而无需任何手动活动,或者是否有可能通过Java API运行此gsutil命令?
我在Google云项目上创建了一个VM实例。我配置了具有我的AWS凭证的boto文件。使用gsutil命令,我能够将数据从云存储复制到s3。我想自动化此步骤< / p>
答案 0 :(得分:0)
gsutil
可以与Google Storage和S3一起使用。
gsutil rsync -d -r gs://my-gs-bucket s3://my-s3-bucket
您只需要使用Google和您的AWS S3凭证进行配置。 gsutil
would use credentials from ~/.boto
file.
有多种方法可以自动执行Shell命令。从Java的Runtime.exec()到Google Cloud Scheduler(云的cron)
答案 1 :(得分:0)
完全自动化且易于使用的方式将是Google Storage Transfer。这样一来,您就可以在S3或GCS中选择来源和目标存储段,并设置诸如“每天凌晨1点运行”之类的功能