Question

使用hadoop多节点设置（1 mater，1 salve）

在master上启动start-mapred.sh后，我在TT日志中找到了以下错误（Slave an）

org.apache.hadoop.mapred.TaskTracker：无法获取系统目录

可以帮助我知道可以采取哪些措施来避免此错误

我正在使用 Hadoop 1.2.0 码头-6.1.26 java版“1.6.0_23”

mapred-site.xml文件

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>master:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>
<property>
  <name>mapred.map.tasks</name>
    <value>1</value>
      <description>
          define mapred.map tasks to be number of slave hosts
</description>
</property>

<property>
  <name>mapred.reduce.tasks</name>
    <value>1</value>
      <description>
          define mapred.reduce tasks to be number of slave hosts
</description>
</property>

</configuration>

芯-site.xml中

<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://master:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hduser/workspace</value>
</property>
</configuration>

Answer 1

似乎你刚刚添加了hadoop.tmp.dir并开始了这项工作。在将任何属性添加到配置文件后，需要重新启动Hadoop守护程序。您已在评论中指定您在稍后阶段添加了此属性。这意味着所有数据和元数据以及其他临时文件仍位于/ tmp目录中。将所有这些内容复制到 / home / hduser / workspace 目录中，重新启动Hadoop并重新运行该作业。

让我知道结果。谢谢。

Answer 2

如果，它是您的Windows PC，并且您正在使用 cygwin 来运行Hadoop。然后任务跟踪器将无法工作。

无法获得系统目录 - hadoop

2 个答案: