/hadoop/etc/hadoop/core-site.xml

Question

我在Ubuntu 12.04上设置了两个虚拟机。我正在尝试设置Hadoop多节点，但在执行hadoop/sbin/start-dfs.sh后，我在主人身上看到了以下过程：

20612 DataNode
20404 NameNode
20889 SecondaryNameNode
21372 Jps

然而，奴隶中没有任何东西。当我hdfs dfsadmin -report时，我只看到：

Live datanodes (1):

Name: 10.222.208.221:9866 (master)
Hostname: master

我检查了日志，我的start-dfs.sh甚至没有尝试在我的奴隶上启动datanode。 我正在使用以下配置：

#/etc/hosts
127.0.0.1       localhost
10.222.208.221  master
10.222.208.68   slave-1

更改了各个系统中/ etc / hostname中的hostanme 此外，我能够使用ping从主系统ping slave-1，反之亦然。

/hadoop/etc/hadoop/core-site.xml

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
   </property>
</configuration>

＃的hadoop的/ etc / HDFS-site.xml中

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///hadoop/data/namenode</value>
        <description>NameNode directory</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///hadoop/data/datanode</value>
        <description>DataNode directory</description>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
 </configuration>

/hadoop/etc/hadoop/mapred-site.xml

<configuration>
   <property>
         <name>mapred.job.tracker</name>
         <value>master:9001</value>
   </property>
</configuration>

我还在我的主系统和从属系统的/hadoop/etc/master和/hadoop/etc/slaves中添加了master和slave-1。

我还尝试在hdfs namenode -format之前清理数据/ *然后start-dfs.sh，问题仍然存在。

此外，我将网络适配器设置标记为桥接适配器。

datanode无法启动奴隶的任何可能原因？

Answer 1

无法声称有答案，但是我发现了这个"start-all.sh" and "start-dfs.sh" from master node do not start the slave node services?

将我的从属文件更改为工作文件，并单击了所有内容。

Answer 2

似乎您使用的是hadoop-2.x.x或更高版本，因此，请尝试此配置。默认情况下，母版文件（SELECT GetMetadataPropertyValue(ehInput, '[EventHub].[IoTConnectionDeviceId]') AS myIoTDeviceId FROM ehInput）在hadoop-2.x.x以后不可用。

hadoop-2.x.x / etc / hadoop / core-site.xml ：

hadoop-2.x.x/etc/hadoop/masters

〜/ etc / hadoop / hdfs-site.xml ：

<configuration>
 <property>
 <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
 </property>
</configuration>

〜/ etc / hadoop / mapred-site.xml：

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///hadoop/data/namenode</value>
    <description>NameNode directory</description>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///hadoop/data/datanode</value>
    <description>DataNode directory</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
</configuration>

〜/ etc / hadoop / yarn-site.xml：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

〜/ etc / hadoop / 从属

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

从主服务器复制以上所有已配置的文件，并在此路径slave-1上从属服务器上将其替换

Hadoop：datanode没有在slave上启动

/hadoop/etc/hadoop/core-site.xml

/hadoop/etc/hadoop/mapred-site.xml

2 个答案: