Question

首先，我是hadoop和linux的总菜鸟。我有一个五个节点的集群，启动时显示每个节点容量只有46.6 GB，而每台机器有大约500 GB的空间，我不知道如何分配给这些节点。

（1）我是否必须更改datanode和namenode文件大小（我检查了这些并显示了与Datanode信息选项卡中相同的剩余空间）？如果是这样我应该怎么做。

（2）此500gb磁盘仅在我执行$ lsblk命令时显示，而不是在我执行$ df -H命令时显示。这是否意味着它没有安装？这些是命令的结果。有人可以解释这是什么意思..

[hadoop@hdp1 hadoop]$ sudo lsblk
NAME                        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0                          11:0    1 1024M  0 rom  
sda                           8:0    0   50G  0 disk 
\u251c\u2500sda1                        8:1    0  500M  0 part /boot
\u2514\u2500sda2                        8:2    0 49.5G  0 part 
  \u251c\u2500VolGroup-lv_root (dm-0) 253:0    0 47.6G  0 lvm  /
  \u2514\u2500VolGroup-lv_swap (dm-1) 253:1    0    2G  0 lvm  [SWAP]
sdb                           8:16   0  512G  0 disk 

[hadoop@hdp1 hadoop]$ sudo df -H
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
                       51G  6.7G   41G  15% /
tmpfs                  17G   14M   17G   1% /dev/shm
/dev/sda1             500M  163M  311M  35% /boot

请帮忙。提前致谢。首先，有人可以帮助我理解为什么它显示不同的内存磁盘及其含义以及它驻留在哪里？我似乎无法弄清楚

Answer 1

你是对的。您的第二个磁盘（sdb）未安装在任何位置。如果您要将整个磁盘专用于hadoop数据，请按以下步骤格式化和装载它：

格式化磁盘：

mkfs.ext4 -m1 -O dir_index,extent,sparse_super /dev/sdb

用于安装编辑文件/ etc / fstab。添加以下行：

/dev/sdb    /hadoop/disk0   ext4    noatime 1 2

之后，创建目录/ hadoop / disk0（它不必像那样命名。你可以使用你选择的目录）。

mkdir -p /hadoop/disk0

现在您已准备好安装磁盘：

mount -a

最后，您应该让hadoop知道您要将此磁盘用作hadoop存储。您的/etc/hadoop/conf/hdfs-site.xml应包含这些配置参数

<property><name>dfs.name.dir</name><value>/hadoop/disk0/nn</value></property>
<property><name>dfs.data.dir</name><value>/hadoop/disk0/dn</value></property>

Linux和Hadoop：安装磁盘并增加群集容量

1 个答案: