在另一个AWS账户S3存储桶中运行带有输出结果的EMR作业

时间:2015-07-30 22:41:46

标签: java amazon-web-services amazon-s3 emr

我尝试在java中运行EMR作业,其中输入文件位于一个帐户的S3存储桶中,输出结果写入另一个帐户的S3存储桶。我知道你可以从一个帐户给另一个帐户的读/写权限,但是如何指定输入和输出在不同的目录中?

例如,您可以将输入路径指定为" s3:// {bucket-name} / {input-folder} /"输出路径为" s3:// {bucket-name} / {output-folder} /"。您如何在另一个帐户中指定存储桶?

2 个答案:

答案 0 :(得分:0)

我们可以将凭证与s3位置一起传递。下面给出一个例子。

s3://ACCESSKEY:SECRETKEY@my-bucket/

此处 ACCESSKEY SECRETKEY 是访问S3的访问密钥和密钥。

my-buckey 是广告素材的名称。

答案 1 :(得分:0)

好的,我明白了。

您不能/不需要在另一个帐户中引用S3存储桶的原因是因为 S3存储桶具有唯一名称。我没有意识到这一点。因此,上传到另一个帐户的s3存储桶就像确保他们为您提供S3写入权限并将文件上传到您自己的存储桶一样简单。