我对hadoop有点新鲜。我已经在hadoop中实现了一些任务。直到现在我在单节点集群中运行它。我正在考虑转向多节点集群。
如果我使用2个虚拟机在同一个系统上配置了多个节点（在两个虚拟机中都安装了Ubuntu），那么性能可能会提高或者保持与在同一台机器上运行时相同。
（我想如果我将在同一台机器上运行多个节点，那么执行时间将相同或可能更长，因为所有进程都将在队列中执行，因为它们将在同一台机器上运行。我认为是对的。如果我错了请正确，因为我对此一无所知）
请尽快告诉我。谢谢大家。
答案 0 :(得分：1)
表现几乎可以肯定，原因如下：
1）由于虚拟机具有更高的开销，因此可用于任务的内存较少
2）虚拟机之间的网络连接速度较慢，然后在同一操作系统内
3）VM将引入一些磁盘IO开销（虽然它相对较小）
4）据我所知，每个工作开销与簇大小有关，所以可能是1个节点。 MBR＆GT;
集群将具有比2节点集群更快的作业开始时间。
我也没有看到为什么这样的集群会表现得更好的原因。
答案 1 :(得分：0)
这取决于您的确切配置，但很可能性能会变慢。 除非您在添加新VM时添加了更多内存，更多CPU和更多IO，否则这两个VM将竞争相同的资源......