在不同硬件机器中的VM之间安装hadoop集群

时间:2018-12-27 11:06:59

标签: hadoop virtual-machine virtualbox hadoop2

我负责向一群人(比如说5个人)教授Hadoop,但是没有可用的硬件。

每个人都有一台笔记本电脑,具有相当多的内存和处理器。

我想让他们在自己的笔记本电脑之间创建一个Hadoop集群,该集群将连接到同一网络。

到目前为止,我想到的是:

  • 使用预先配置的ubuntu 16创建VM映像(我选择ubuntu 16)以准备成为群集节点
  • 请他们每个人在其计算机上运行VM
  • 在此VM网络之上创建集群

但是,我有一些锁:

1 /是否可以创建位于其不同计算机上的VM的专用网络,以便将hadoop群集与链接物理计算机的网络隔离开?

2 /这种方法有什么问题?

3 /是否有更好的方法来处理在不同的个人计算机之间设置Hadoop集群的这种需求?

顺便说一句,我对Hadoop的安装还可以,等等...

在此先感谢您的帮助,建议...

1 个答案:

答案 0 :(得分:1)

  

是否可以创建位于其不同计算机上的VM的专用网络

是的,公司始终使用VM集群来执行此操作。诚然,这些公司拥有多年从事此类网络设置的经验,并且对防火墙和路由表有深入的了解

  

这样,Hadoop集群就与链接物理机的网络隔离了吗?

并非没有用于连接所有计算机的特定子网。我想每台笔记本电脑都共享同一个路由器,并且每台设备在主机和VM之间共享一个网络接口,因此创建它可能很困难。

  

这种方法可能有什么问题?

您需要至少指定一台计算机作为“主服务器”-名称节点和ResourceManager。没有这台机器,将无法工作。一种更好的方法是使用HA部署,但是您依赖于“两个人”

  

是否有更好的方法来处理这种设置Hadoop集群的需求

使用AWS,Azure或GCP的免费套餐/积分来建立集群。它可以从2-3个节点开始,而不是5个