如何在SparkR中设置fs.s3.awsAccessKeyId和fs.s3.awsSecretAccessKey？

Question

我正在尝试使用带有spark 2.1的sparkR来访问存储在S3存储桶中的镶木地板文件。

我试图以这种方式设置aws的秘密。

Sys.setenv(AWS_ACCESS_KEY_ID="XXXX")
Sys.setenv(AWS_SECRET_ACCESS_KEY="XXXX")

但它返回错误：

  

错误：loadDF出错：非法参数 - AWS Access Key ID和   必须将密钥访问密钥指定为用户名或密码   （分别）s3 URL，或者设置fs.s3.awsAccessKeyId或   fs.s3.awsSecretAccessKey属性（分别）。

Answer 1

将您的凭据直接传递到请求的网址不会触发错误。

使用XXXX：XXXX作为你的aws_access_key_id

s3n://XXXX:XXXX@bucket/file/whateveryouwant：aws_secret_access_key