HDFS不工作？

Question

我想在运行Ubuntu操作系统的三台虚拟机上设置多节点hadoop。

我把一切都搞好了：我从任何一个人到另一个人。我配置hadoop文件。

enter code here
*This is core.site-xml*

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://Master1:54310</value>
</property>
</configuration>

This is hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name/</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

This is mapred.site-xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>Master1:54311</value> // this is my hostname for master node
</property>
</configuration>

![enter image description here][1]

命令行：

 inside hadoop I typed on command line:
 bin/hadoop namenode -format
 bin/hadoop start-all.sh
 jps
 bin/hadoop dfsadmin -report
enter code here

下图中的输出： 提前感谢您，我期待着您的帮助

Answer 1

更新hdfs-site.xml中的以下属性，然后尝试

<property>
    <name>dfs.name.dir</name>
    <value>file:/home/user/hadoop/name/</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>file:/home/user/hadoop/data</value>
</property>

我检查了日志，应该是路径错误。如上所述将其更改为适当的路径，或者创建两个文件夹/ home / user / hadoop / name和/ home / user / hadoop / data，并在hdfs-site.xml文件中设置其路径。

<强>日志

2015-06-24 02:57:19,997 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: can not create directory: /hadoop/data
2015-06-24 02:57:19,997 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2015-06-24 02:57:19,998 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 

Answer 2

首先，根据第二张图片，你可能不会在运行新的hadoop进程之前关闭hadoop进程。所以尝试这个commond ps -e|grep java并杀死所有java进程。

然后，您必须确认您有权写入目录“/ hadoop / *”（查看第三张图片），这是一个基本选项。

最后，又跑了。

Answer 3

我解决了这个问题。问题是我没有为hdfs创建目录，当我创建文件夹时，配置发生了一些变化。下周左右，我将发布所有配置步骤并在完全分布式模式下运行hadoop。

此致 Salem的