distcp s3实例配置文件临时凭证

时间:2014-07-28 21:06:52

标签: hadoop amazon-web-services distcp

我在AWS的hadoop集群中使用了distcp。现在我们切换到集群节点使用IAM角色。我要尝试的解决方案是添加我自己的org.apache.hadoop.fs.s3native.NativeS3FileSystem实现,它将像AWS InstanceProfileCredentialsProvider一样更智能并使用IMDS。但是,是否有可用的解决方案使distcp与临时安全凭证一起使用?查看NativeS3FileSystem和相关类,看起来我需要复制大部分代码才能使凭据查找使用IMDS。

0 个答案:

没有答案