Mesos 0.21.0上的Hadoop 2.5.0,库0.0.8执行程序错误

时间:2014-12-02 16:49:12

标签: hadoop mapreduce mesos

stderr在运行map-reduce作业时记录以下内容:

root@dbpc42:/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_2/runs/latest# ls
hadoop-2.5.0-cdh5.2.0  hadoop-2.5.0-cdh5.2.0.tgz  stderr  stdout

stderr的内容:

  

警告:在InitGoogleLogging()写入STDERR I1202之前进行记录   19:41:40.323521 7223 fetcher.cpp:76]获取URI   'hdfs:// dbpc41:9000 / hadoop-2.5.0-cdh5.2.0.tgz'I1202 19:41:40.323685   7223 fetcher.cpp:105]从中下载资源   'hdfs:// dbpc41:9000 / hadoop-2.5.0-cdh5.2.0.tgz'到   “/ TMP / mesos /从站/ 20141201-225046-698725789-5050-19765-S24 /框架/ 20141201-225046-698725789-5050-19765-0016 /执行人/ executor_Task_Tracker_0 /运行/ 59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd / Hadoop的2.5.0-cdh5.2.0.tgz'

     

I1202 19:41:48.779220 7223 fetcher.cpp:64]提取的资源   “/ TMP / mesos /从站/ 20141201-225046-698725789-5050-19765-S24 /框架/ 20141201-225046-698725789-5050-19765-0016 /执行人/ executor_Task_Tracker_0 /运行/ 59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd / Hadoop的2.5.0-cdh5.2.0.tgz”   成   '/ TMP / mesos /从站/ 20141201-225046-698725789-5050-19765-S24 /框架/ 20141201-225046-698725789-5050-19765-0016 /执行人/ executor_Task_Tracker_0 /运行/ 59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd'

     

sh:1:cd:无法cd到hadoop-2.5.0-cdh5.2.0

     

sh:1:./ bin / hadoop:不是   结果

stdout为空。

有趣的是,当我在主服务器运行的同一节点上运行从服务器时,问题不会出现,任务也会成功完成。只有远程从站才会引入此问题。可能是什么问题?

2 个答案:

答案 0 :(得分:0)

JobTracker放置并由执行程序运行的脚本无法访问该目录。我已经通过递归更改目录/tmp的权限来解决了这个问题,并为#34; 777全部免费。

答案 1 :(得分:0)

您需要做的是在您的mesos-work-dir所在的位置提供+ x访问权限。你递归地不需要777。