寻找有关Hadoop的整体评论

Question

我正在寻找Hadoop（300-600盒集群，商品硬件）的性能评估，特别是在以下方面：

1. 高并发读数＆amp;写
2. 网页抓取
3. Mapreduce，并行计算
4. 倒置索引

Answer 1

这不是一个特定的问题，也许这就是为什么直到现在都没人回答。通过基准测试可以最好地分析3-600节点集群上的性能。

但是，我发现了一些关于Hadoop及其在生产中的实现的非常有趣的文章：

• Hadoop Architecture and its Usage at Facebook
• How Rackspace Now Uses MapReduce And Hadoop To Query Terabytes Of Data
• 文章Hadoop Sorts a Petabyte in 16.25 Hours and a Terabyte in 62 Seconds
中提供了一些基准测试
• 另外，一个非常有趣的blog related to Hadoop
• 另一篇与facebook和hadoop相关的文章是Hive - A Petabyte Scale Data Warehouse using Hadoop

我希望这些链接可以帮助您开始并提供您需要的所有信息。