在一台计算机上运行Hadoop集群

Question

我是Hadoop环境的新手。 我想知道是否可以使用虚拟机在一台计算机上运行集群（包含2个或3个节点）。

欢迎任何澄清。

谢谢。

Answer 1

是的，我们可以在一台机器上安装许多虚拟机。但是如果我们考虑（例如）cloudera VM 4.7，则每个需要4 Gb的RAM。因此对于3 VM的3 * 4 = 12 gb。而且，除了你的机器有运行的应用程序，它需要至少2 Gb。所以在整体上你需要14+ gb的ram。并且，还应该相应地制作硬盘分区。

Answer 2

来自Virtual Hadoop Wiki：

  

云和虚拟化需要单独检查，但在所有情况下，答案是“是的，您可以虚拟化，是的，您可以部署到云，但您需要知道后果并相应地制定计划”。

此Wiki页面是您开始考虑如何在VM上设置Hadoop的好地方。

Answer 3

我建议你使用伪分布式模式。在一台机器上运行多个VM绝对没问题。但RAM应该足以处理这些VM以及您的主要应用程序。在伪分布式模式下，我们将能够模拟多节点集群，但唯一的区别是所有守护进程，如Namenode，资源管理器，数据节点，节点管理器使用单个JVM而不是在不同的机器上运行。

https://hadoop.apache.org/docs/r1.2.1/single_node_setup.html