Question

我有一个hadoop 2.6.4设置，有1个主设备和2个从设备。所有节点似乎都正确安装并且可以相互通信，并且可以在没有密码的情况下互相ssh。我向dfs上传了一个16GB的文本文件，并在其上运行了一个简单的修改后的WordCount示例（code here），以测试一切正常。

hadoop jar test1.jar WordCount /user/text.txt /user/output

我在主节点上运行了我的代码并注意到主节点正在执行所有处理，而从属节点大多处于空闲状态。（我监控了CPU工作量）然后我在slave1上运行代码并注意到master和slave2大部分是空闲的，而slave1完成了所有的工作。为什么仅在提交代码的节点上完成处理？这与hadoop的配置有关，还是我误解了什么？

主人的配置

芯现场

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

mapred现场

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:54311</value>
    </property>
</configuration>

HDFS现场

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
    </property>
</configuration>

纱现场

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8050</value>
    </property>
</configuration>

主人：

master

从站：

slave1
slave2

slave1配置：

核心站点（与主站相同）

mapred-site（与主人相同）

HDFS现场

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
    </property>
</configuration>

纱线网站（与主人相同）

从站：

 slave1
 slave2

Hadoop使用一个节点来处理数据

0 个答案: