在桌面上安装Hadoop超过5个硬盘驱动器

Question

我一直在安装Hadoop。我按照Udemy课程的一些说明，在笔记本电脑上安装了Hadoop伪分布式模式。这很简单。

之后，我开始怀疑是否可以在桌面计算机上设置Hadoop。所以出去买了一个空机箱，装了一个64位，8核AMD处理器，以及一个50GB SSD硬盘和4个便宜的500GB硬盘。我在SSD驱动器上安装了Ubuntu 14.04，并将虚拟机放在其他驱动器上。

我设想使用我的SSD作为主设备并使用我的4个硬盘驱动器作为节点。同样，一切都生活在同样的情况下。

不幸的是，我一直在各处搜索，而且我找不到任何描述以这种方式设置Hadoop的教程，指南，书籍等。似乎我所发现的大部分内容都是Hadoop的详细安装要么是简单的伪分布式设置（我已经完成了），要么指令直接转向大规模的商业应用程序。我还清楚地学习基础知识，但我想在这之间玩这种方式。

之前有没有人这样做过，和/或遇到过描述如何以这种方式设置Hadoop的任何文档/教程/等？非常感谢您的帮助。

Answer 1

• 您可以运行 hadoop位于同一系统中不同驱动器的不同虚拟机中。
• 但您需要为所有主节点和从节点分配相同配置
• 同时确保所有具有不同IP 地址的VM。
• 您可以通过将主计算机连接到 LAN 来获取不同的IP地址，或者您需要在VM计算机中禁用某些功能才能获得不同的IP地址。< / LI>

Answer 2

如果您在pseduo模式下安装了hadoop，则按照以下步骤操作，这可能会对您有所帮助。

MULTINODE：

使用主机文件中的以下设置配置网络中的主机。这必须在所有机器[在namenode中]完成。

sudo vi / etc / hosts

在文件中添加以下行：

yourip1 master

yourip2 slave01

yourip3 slave02

yourip4 slave03

yourip5 slave04

[保存并退出 - 键入ESC然后：wq]

更改namenode和datanodes的主机名。

sudo vi / etc / hostname

对于主机[namenode] - 主

对于其他机器 - slave01和slave02以及slave03和slave04以及slave 05

重新启动计算机以获取与所应用网络相关的设置。

sudo shutdown -r now

将密钥从主节点复制到所有数据节点，这样有助于访问计算机而无需每次都要求权限。

    #ssh-copy-id –i ~/.ssh/id_rsa.pub hduser@slave01
    #ssh-copy-id –i ~/.ssh/id_rsa.pub hduser@slave02
    #ssh-copy-id –i  ~/.ssh/id_rsa.pub hduser@slave03
    #ssh-copy-id –i  ~/.ssh/id_rsa.pub hduser@slave04

现在我们即将配置hadoop配置设置，因此请导航到'conf'文件夹。

cd~ / hadoop / etc

编辑hadoop目录中的slave文件。

vi~ / hadoop / conf / slaves

并添加以下内容：

master

slave01

slave02

slave03

slave04

现在将localhost更新为core-site.xml，hdfs-site.xml，mapred-site.xml和yarn-site.xml中的master

现在将hadoop / etc / hadoop文件夹中的文件从主机复制到从机。

然后在所有机器中格式化namenode。

并启动hadoop服务。

我向您提供了有关如何配置hadoop多节点群集的一些线索。

Answer 3

从未尝试过，但如果您输入ifconfig，则会在硬盘中的所有same ipaddress上为您提供vm machines。所以这可能不是更好的选择..
您可以尝试使用此分步指南Amazon EC2在HERE免费创建Hadoop群集 或视频指南HERE
希望它有所帮助！