Question

我创建了一个拥有1个Master和2个Slave的hadoop集群。我在* -site.xml文件中以最低规格运行它。

芯-site.xml中

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.0.0.51:9000</value>
    </property>
</configuration>

hfds-site.xml中

<configuration>
    <property>
        <name>dfs.datanode.name.dir</name>
        <value>~/DNfiles</value>
    </property>
</configuration>

mapred-site.xml中

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

纱-site.xml中

<configuration>

    <!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.0.0.51:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.0.0.51:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.0.0.51:8050</value>
    </property>
</configuration>

问题是我能够格式化namenode，将文件放入hfs和所有但是当我运行一个简单的例子时，我得到以下错误。

Container launch failed for container_1455133326738_0002_02_000007 : java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop-slave-2 at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:377)
    at org.apache.hadoop.security.SecurityUtil.setTokenService(SecurityUtil.java:356)
    at org.apache.hadoop.yarn.util.ConverterUtils.convertFromYarn(ConverterUtils.java:238)
at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.newProxy(ContainerManagementProtocolProxy.java:266)
 at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.<init>(ContainerManagementProtocolProxy.java:244)
    at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy.getProxy(ContainerManagementProtocolProxy.java:129)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl.getCMProxy(ContainerLauncherImpl.java:409)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:138)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.UnknownHostException: hadoop-slave-2

虽然程序通过与其他从站协同工作继续完成，即1个从站可以访问，但是其他的不是，但它们具有相同的配置。因为我能够格式化所有，所以我假设我的/ etc / hosts文件在主节点是好的。这是它的片段。

ubuntu@hadoop-master-1:~/hadoop-2.7.1/bin$ cat /etc/hosts
127.0.0.1 localhost
10.0.0.51 hadoop-master-1
10.0.0.36 hadoop-slave
10.0.0.38 hadoop-slave-2
10.0.0.39 hadoop-slave-1
10.0.0.40 hadoop-slave-3
10.0.0.41 hadoop-slave-4

奴隶的主机文件

ubuntu@hadoop-slave-1:~/hadoop-2.7.1/bin$ cat /etc/hosts
127.0.0.1 localhost
10.0.0.39 hadoop-slave-1
10.0.0.51 hadoop-master-1

有谁知道这可能是什么问题？任何帮助或可能的指示将受到高度赞赏。

Answer 1

问题出在奴隶的/ etc / hosts文件中。放置文件和格式化名称节点时没有错误的原因是主节点与所有从节点通信，并且它具有所有这些节点的IP地址。但是，一旦在群集上运行应用程序，就会在其中一个从属服务器上创建应用程序主服务器。 AM然后通过奴隶必须与其他奴隶沟通。由于slave的主机文件没有它们的地址（通过发布的主机文件来判断从机），它会发出一个Unknown主机错误。

根据经验，请确保群集中的所有节点都具有到群集中每个其他节点的IP地址。解决这个问题，错误应该消失。

Answer 2

运行Hadoop应用程序时出现UnknownHostException错误

在hadoop 2.7.7上测试。在Ubuntu主机上创建了4个ubuntu VM。 1个虚拟机作为名称节点 3个虚拟机作为数据节点。

使用所有节点的IP地址更新/ etc / hosts表时，UnknownHostexception被删除。

示例： 192.168.2.7名称节点 192.168.2.11 datanode1 192.168.2.12 datanode2 192.168.2.13 datanode3

Hadoop：java.net.UnknownHostException：hadoop-slave-2

2 个答案: