如何将Hadoop文件系统保留在hadoop安装磁盘以外的物理磁盘中？

Question

我正在尝试在多节点集群环境中安装hadoop。我在SSD上安装了ubuntu 15.10。我想在SSD上安装hadoop 2.6.2并将我的HDFS保存在单独的SATA硬盘上。为此，我应该遵循哪些步骤？

我在SSD中安装了hadoop，并在hdfs-site.xml中安装了以下配置。因此，我将属性 dfs.datanode.data.dir 设置为 file：/// media / coea23 / HDFS / hdfs / datanode 。但是在执行 jps 时没有显示datanode，而namenode显示的是在已经完成hadoop安装的SSD中。

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:///media/coea23/HDFS/hdfs/datanode</value> 
<description>DataNode directory</description> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:///home/hduser/hdfs/namenode</value> 
<description>NameNode directory for namespace and transaction logs storage.</description> 
</property>

请提出宝贵的建议。提前谢谢。

卡马鲁丁

Answer 1

你在配置文件中配置它......

每个DataNode上的hdfs-site.xml：

<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:///data/1/dfs/dn,file:///data/2/dfs/dn,file:///data/3/dfs/dn,file:///data/4/dfs/dn</value>
</property>

<强> 修改

注意：

dfs.data.dir和dfs.name.dir已弃用;你应该使用dfs.datanode.data.dir和dfs.namenode.name.dir代替，但是dfs.data.dir和dfs.name.dir仍然有效。