我负责向一群人(比如说5个人)教授Hadoop,但是没有可用的硬件。
每个人都有一台笔记本电脑,具有相当多的内存和处理器。
我想让他们在自己的笔记本电脑之间创建一个Hadoop集群,该集群将连接到同一网络。
到目前为止,我想到的是:
但是,我有一些锁:
1 /是否可以创建位于其不同计算机上的VM的专用网络,以便将hadoop群集与链接物理计算机的网络隔离开?
2 /这种方法有什么问题?
3 /是否有更好的方法来处理在不同的个人计算机之间设置Hadoop集群的这种需求?
顺便说一句,我对Hadoop的安装还可以,等等...
在此先感谢您的帮助,建议...
答案 0 :(得分:1)
是否可以创建位于其不同计算机上的VM的专用网络
是的,公司始终使用VM集群来执行此操作。诚然,这些公司拥有多年从事此类网络设置的经验,并且对防火墙和路由表有深入的了解
这样,Hadoop集群就与链接物理机的网络隔离了吗?
并非没有用于连接所有计算机的特定子网。我想每台笔记本电脑都共享同一个路由器,并且每台设备在主机和VM之间共享一个网络接口,因此创建它可能很困难。
这种方法可能有什么问题?
您需要至少指定一台计算机作为“主服务器”-名称节点和ResourceManager。没有这台机器,将无法工作。一种更好的方法是使用HA部署,但是您依赖于“两个人”
是否有更好的方法来处理这种设置Hadoop集群的需求
使用AWS,Azure或GCP的免费套餐/积分来建立集群。它可以从2-3个节点开始,而不是5个