我在EC2上安装了带R(和Rstudio)的SparkR。我试图读取位于s3上的文件:
temp <- textFile(sc, "s3://dev.xxxx.com/txttest")
并获得:
java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be
specified as the username or password (respectively) of a s3 URL, or by setting the
fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).`
我试图像我这样添加我的访问密钥+秘密:
temp <- textFile(sc, "s3:{access_key:secret_key}@dev.xxxx.com/txttest")
得到了:
Invalid hostname in URI s3://11111111111111111111:2222222222222222222222222222222222222222@dev.xxx.com
at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41)`
我也尝试使用
export AWS_SECRET_ACCESS_KEY=2222222222222222222222222222222222222222
export AWS_ACCESS_KEY_ID=11111111111111111111`
在启动集群之前但无济于事。
问题:
1.如何更改fs.s3.awsAccessKeyId
和fs.s3.awsSecretAccessKey
属性?
2. URI中是否缺少正确的语法?
非常感谢任何帮助。