Hadoop 1.0.4 - 运行map reduce文件中的文件权限问题

时间:2013-03-29 18:21:51

标签: hadoop mapreduce cygwin

我是hadoop的新手,需要在Windows中设置一个沙盒环境来向客户展示。我已按照下面提到的步骤

  1. 在所有计算机上安装cygwin
  2. 设置ssh
  3. 安装hadoop 1.0.4
  4. 配置hadoop
  5. Applied patch for hadoop-7682 bug
  6. 经过大量的点击和试用后,我成功地运行了所有组件(namenode,datanode,tasktracker和jobtracker)。但是现在我在运行map-reduce作业并在tmp目录上获得权限错误时遇到问题。当我使用以下命令

    运行word count example
    bin/hadoop jar hadoop*examples*.jar wordcount wcountjob wcountjob/gutenberg-output
    
      

    13/03/28 23:43:29 INFO mapred.JobClient:任务ID:   attempt_201303282342_0001_m_000003_2,状态:FAILED错误   初始化尝试_201303282342_0001_m_000003_2:   java.io.IOException:无法设置路径的权限:   c:\ cygwin \ usr \ local \ tmp \ taskTracker \ uswu50754到0700           在org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)           在org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)           at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)           在org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)           在org.apache.hadoop.mapred.JobLocalizer.createLocalDirs(JobLocalizer.java:144)           在org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:182)           在org.apache.hadoop.mapred.TaskTracker $ 4.run(TaskTracker.java:1228)           at java.security.AccessController.doPrivileged(Native Method)           在javax.security.auth.Subject.doAs(Subject.java:396)           在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)           在org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1203)           在org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1118)           在org.apache.hadoop.mapred.TaskTracker $ 5.run(TaskTracker.java:2430)           在java.lang.Thread.run(Thread.java:662)

    我已尝试手动设置权限但这也不起作用。据我所知,这是由于使用的java库试图重置权限而失败。解决tasktracker问题的权限补丁似乎无法解决这个问题。

    1. 是否有人为此找到了解决方案?
    2. 有人能指点我下载Hadoop 0.20.2的位置,这似乎是免疫的 这个问题?

0 个答案:

没有答案