Rstudio上的SparkR - 无法访问s3

时间:2015-04-27 14:42:34

标签: r apache-spark hadoop amazon-s3

我在EC2上安装了带R(和Rstudio)的SparkR。我试图读取位于s3上的文件:

temp  <- textFile(sc, "s3://dev.xxxx.com/txttest")

并获得:

java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be 
specified as the username or password (respectively) of a s3 URL, or by setting the 
fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).`

我试图像我这样添加我的访问密钥+秘密:

temp  <- textFile(sc, "s3:{access_key:secret_key}@dev.xxxx.com/txttest")

得到了:

Invalid hostname in URI s3://11111111111111111111:2222222222222222222222222222222222222222@dev.xxx.com
at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41)`

我也尝试使用

export AWS_SECRET_ACCESS_KEY=2222222222222222222222222222222222222222 
export AWS_ACCESS_KEY_ID=11111111111111111111`  

在启动集群之前但无济于事。

问题:
  1.如何更改fs.s3.awsAccessKeyIdfs.s3.awsSecretAccessKey属性?
  2. URI中是否缺少正确的语法?

非常感谢任何帮助。

0 个答案:

没有答案