使用隐藏密钥对的Hadoop distcp到S3a

Question

如何隐藏ACCESS_ID_KEY和SECRET_ACCESS_KEY以访问Amazon S3？

我知道将它添加到core-site.xml，但也许有不同的解决方案。使用这种方法，群集中的每个用户都将使用相同的密钥运行distcp。也许有一些解决方案，比如将它存储在每个集群用户的某个属性文件中？

感谢。

Answer 1

有关此用例，请参阅我的HCC post使用Hadoop凭据API。