在运行时scala spark设置目录权限

时间:2017-08-02 23:22:21

标签: scala hadoop apache-spark pyspark spark-dataframe

我试图在HDFS上的spark代码中创建一个目录并在其中写入文件。但是在编写时失败并出现以下错误。

  dir.canExecute()
  dir.canRead()
  dir.canWrite()

  dir.setWritable(true, false)
  dir.setReadable(true,false)
  dir.setExecutable(true, false)

我们如何在scala中设置运行时目录的权限?

更新

我使用这些命令为创建的目录授予权限。

this.props.children

1 个答案:

答案 0 :(得分:0)

感谢philantrovert看看这个,但我意识到即使我在运行时创建目录成功并且dir.canWrite()返回true,这是在EMR上,目录是在服务器上创建的但Spark实际上是在尝试写入没有此类文件夹的HDFS。 - :)