Question

我继续在减少阶段获得Exceeded MAX_FAILED_UNIQUE_FETCHES。

尽管我尝试了所有可以在网上找到的解决方案。

节点：已安装的服务

Master_Node：Namenode，JobTracker

配置文件附在下面：

芯-site.xml中

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-datastore/hadoop-${user.name}</value>
        <description>Hadoop Data Store</description>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://172.16.8.3:54310/</value> 
    </property>
</configuration>

mapred-site.xml中

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>172.16.8.3:54311</value>
    </property>
</configuration>

Answer 1

这link似乎表明它可能是网络配置问题。

Reducer无法获取地图（由于尝试失败太多），这可能是由于网络/配置问题导致他们无法查询Jetty服务器。

免责声明：我没有专业地使用Hadoop

Answer 2

我也遇到了这个错误：引起：java.io.IOException：超过MAX_FAILED_UNIQUE_FETCHES;想逃出。

对我来说，修复是在core-site.xml和mapred-site.xml上使用主机名而不是ip地址。您需要编辑hosts文件并包含主服务器和从服务器

Hadoop：Reducer正在生成错误

2 个答案: