我的hive作业失败并出现以下错误,即使我在运行作业之前设置了exec目录和暂存目录,我也不确定为什么默认属性没有得到更新。
SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;
例外:
17/09/13 11:30:42 [Thread-126]:ERROR mr.ExecDriver:纱线 java.io.IOException:无法设置权限 /var/mapr/cluster/yarn/rm/staging/usecase/.staging/job_1503499283269_761069/job.jar 在com.mapr.fs.MapRFileSystem.setPermission(MapRFileSystem.java:2100) 在org.apache.hadoop.mapreduce.JobResourceUploader.copyJar(JobResourceUploader.java:248)
我需要设置其他任何属性吗?感谢
我也在使用类似的问题here。
答案 0 :(得分:1)
在hive shell中尝试以下配置属性以覆盖hive-mapreduce AM stage目录。使用完整的URI
yarn.app.mapreduce.am.staging-dir