Hive无法设置登台目录的权限

时间:2017-09-13 19:14:53

标签: hadoop apache-spark hive apache-spark-sql

我的hive作业失败并出现以下错误,即使我在运行作业之前设置了exec目录和暂存目录,我也不确定为什么默认属性没有得到更新。

SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;

例外:

  

17/09/13 11:30:42 [Thread-126]:ERROR mr.ExecDriver:纱线   java.io.IOException:无法设置权限   /var/mapr/cluster/yarn/rm/staging/usecase/.staging/job_1503499283269_761069/job.jar           在com.mapr.fs.MapRFileSystem.setPermission(MapRFileSystem.java:2100)           在org.apache.hadoop.mapreduce.JobResourceUploader.copyJar(JobResourceUploader.java:248)

我需要设置其他任何属性吗?感谢

我也在使用类似的问题here

1 个答案:

答案 0 :(得分:1)

在hive shell中尝试以下配置属性以覆盖hive-mapreduce AM stage目录。使用完整的URI

yarn.app.mapreduce.am.staging-dir

http://doc.mapr.com/display/MapR/Default+mapred+Parameters