我是Hadoop的新手,并且不知道使用虚拟机(VM)来运行和部署Hadoop集群及其模块的原因? 我们不能通过本地Linux / Unix系统使用Hadoop
答案 0 :(得分:0)
使用虚拟机(VM)来运行和部署Hadoop集群及其模块的原因
因为许多数据中心的虚拟空间多于物理空间。成千上万的服务器可以在数百台机器上运行(大约)。这就是云中的任何Hadoop集群 - 一堆虚拟机。
因为有些公司只想要一个小而廉价的概念证明,Haddon将在其现有软件生态系统中运作。
因为它可以轻松演示启动虚拟机而不是随身携带多台计算机。
等等......无论如何,我强烈建议使用物理硬件,但这需要花费时间和资源来维护资金和处理硬件故障并在Hadoop和操作系统之间保持软件修补。主要是您希望能够挑选和选择适合您的用例的硬件。大量存储用于“数据湖”或大量内存以便快速处理。混合使用一些SSD进行快速缓存......
当然,VM允许您动态分配其中一些项目,但是当磁盘或记忆棒损坏时,它会影响一台计算机上的所有VM而不是一台服务器