Question

我在/ tmp的容量有限，所以我想将mapred的所有中间输出移动到更大的分区，比如/ home / hdfs / tmp_data。
如果我理解正确，我只需要设置

<property>
<name>mapred.child.tmp</name>
<value>/home/hdfs/tmp_data</value>

在mapred-site.xml中我通过Ambari重新启动集群，我检查所有内容都写在conf文件中，但是，当我运行一个猪脚本时，它一直在写：

的/ tmp / Hadoop的HDFS / mapred /本地/的TaskTracker / HDFS / jobcache / job_localXXX / attempt_YY /输出我还将core-site.xml中的hadoop.tmp.dir修改为/ home / hdfs / tmp_data，但没有任何变化。
是否有任何参数覆盖我的设置？

Answer 1

尝试覆盖tasktracker节点mapred-site.xml文件中的以下属性并重新启动它。

<property>
<name>mapred.local.dir/name>
<value>/home/hdfs/tmp_data</value>
</property>

Hadoop继续在/ tmp目录中编写mapred中间输出

1 个答案: