如何在hadoop配置中正确设置s3a配置？

Question

我得到奇怪的错误，例如 - 无法获取aws凭据或无法从...加载凭据

有没有办法在hadoop配置中明确设置s3a凭证？

Answer 1

由于s3a是相对较新的实现（并且可以从hadoop 2.7正常工作），因此需要在hadoop配置中设置两个set属性 -

    conf.set("fs.s3a.access.key", access_key);
    conf.set("fs.s3a.secret.key", secret_key);
    conf.set("fs.s3a.awsAccessKeyId", access_key);
    conf.set("fs.s3a.awsSecretAccessKey", secret_key);

（conf是hadoop配置）

原因是命名约定在版本之间发生了变化并且安全起见 - 设置两者