Hadoop与超级计算机

Question

我无法理解hadoop的真正本质。 如果我有足够的资源购买可以处理数PB数据的超级计算机，那么为什么我需要Hadoop基础设施来管理如此庞大的数据呢？

Answer 1

hadoop的重点是能够在商品异构机器上处理大量数据。这没有什么可以排除超级计算机的使用。

Answer 2

拥有足够的资源往往让我们愚蠢。让我举一个例子（不要担心，它涉及Hadoop），这将说明一切。 Cray的最便宜的超级计算机，XC30-AC的成本 $ 500,000 （IIRC）。一台体面的计算机具有不错的内存，CPU和磁盘的成本是多少？你需要多少钱购买它们并集中使用它们？你需要放置多少空间和资源？处理这些机器???找到具有良好编程技能的人是多么困难，以便他们可以为你编写MR工作？

这些只是一些事情。 Hadoop是开源的。使用它并根据需要调整它。通过邮件列表免费获得精彩支持。不仅是支持，还有建议。我希望你明白这一点。

明智地利用您的资源比拥有它们更重要。