在配置胶水作业时设置写访问权限

时间:2019-12-19 08:58:29

标签: apache-spark hadoop permissions hdfs aws-glue

我正在尝试执行一个AWS-GLUE作业,该作业在磁盘上创建一个临时文件。但是,当尝试编写sparkDataFrame时:

dydf = glueContext.create_dynamic_frame.from_options(
connection_type = 's3',
connection_options = {'paths': ['s3://some-bucket/test.csv']},
format = 'csv')
sdf = dydf.toDF()
sdf.coalesce(1).write.csv(filepath)

在磁盘上,出现以下错误:

  

由以下原因引起:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):权限被拒绝:user = root,access = WRITE,inode =“ /”:hdfs:hadoop:drwxr- xr-x

如何设置/授予这些权限以将文件写入Glue作业的磁盘?

0 个答案:

没有答案