Hadoop集群：更大的节点或更多节点

Question

一个简单的问题：是否有更多节点分割资源或更少“更强”的节点？

Answer 1

嗯，我这个简单的问题并没有真正简单的答案:)取决于你的用例。

如果你有一个容易划分的问题，那么我想有更多的节点应该是可行的方法。基本上分而治之。

但如果您的问题不容易分开，那么拥有更少的更强节点是您唯一的选择。

一般来说，Hadoop是针对以前的问题。

我希望这会有所帮助。如果你能给我们更多细节，我们应该能够提供更好的帮助。

Answer 2

这是一个可靠性，复制与一般性能的案例。

假设固定数量的磁盘，CPU和RAM均匀地分布在具有X_1节点的集群和具有X_2节点的集群中，其中X_1 <1。 X_2然后：

• 如果所有节点都保持工作，则X_1
上的工作会更快
• 如果节点在作业期间死亡，则X_2群集上的剩余资源可能超过X_1群集的剩余资源。如果X_1只有1或2个节点，则更容易想象示例。在这种情况下，额外净IO的成本可能低于资源损失，因此作业可能在X_2上运行得更快
• 如果您的复制因素明显受到群集大小的限制，如果您想要复制3，那么您将需要3个节点。