Hadoop任务跟踪器 - 所有本地目录都不可写

时间:2014-05-09 13:25:59

标签: hadoop mapreduce hive

我有一个10节点集群。 当我提交Hive工作时,我收到以下错误 -

WARN org.apache.hadoop.mapred.TaskTracker: Task Tracker local Incorrect permission for /data/gomz/mapred/local, expected: rwxr-xr-x, while actual: rwxrwxr-x
ERROR org.apache.hadoop.mapred.TaskTracker: Can not start TaskTracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: all local directories are not writable
    at org.apache.hadoop.mapred.TaskTracker.checkLocalDirs(TaskTracker.java:5268)
    at org.apache.hadoop.mapred.TaskTracker.initializeDirectories(TaskTracker.java:907)
    at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:979)
    at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:2176)
    at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:5310)
mapred.local.dirmapred-site.xml中的

taskcontroller.cfg指向/data/gomz/mapred/local

对于我的Hive会话,我使用以下设置:

SET hive.exec.scratchdir=/dev/tmp/hive;
SET hive.metastore.warehouse.dir=/dev/warehouse; (setting works for Hive jobs that do not launch MR)

错误指的是哪些其他本地目录?

1 个答案:

答案 0 :(得分:0)

您可以查看/data的许可吗?

你可以尝试这个命令吗?

sudo chown $USER /data

执行此命令后,请再试一次。