如何通过Spark上的访问密钥credentails连接到S3(AWS Glue)

时间:2019-12-10 15:11:40

标签: amazon-web-services pyspark aws-glue

我想使用AWS Glue上的凭证(access_key id /密码)连接到S3存储桶

以下脚本不起作用

sc = SparkContext() 

sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", "...") 

sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key","...") 

sc._jsc.hadoopConfiguration().set("fs.s3a.credentials.provider","org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider") 

glueContext = GlueContext(sc)

0 个答案:

没有答案