如何使用Hadoop / Hbase实现Web搜索？

Question

如何使用Hadoop / Hbase实现Web搜索。任何人都可以提供一些指导或教程，以便开始使用吗？

Answer 1

这篇文章是关于map-Reduce的，它给出了一些使用map-reduce实现信息检索原理的例子。
http://labs.google.com/papers/mapreduce.html
您可能还想查看一个开源信息检索系统Apache Lucene和Apache Solr

Answer 2

尝试使用lily项目处理索引hbase表数据，索引数据可以很容易地用于搜索的实现。这是您可以参考的链接

http://www.lilyproject.org/lily/index.html

Lily将Apache HBase，Hadoop和Solr统一为一个全面集成的交互式数据平台，具有易于使用的访问API，高级数据模型和模式语言，灵活的实时索引以及富有表现力的搜索能力Apache Solr。最重要的是，Lily是开源的

Answer 3

@Yash：

对于Hbase： 从Definitive guide阅读有关Hbase的章节。然后阅读Apache Hbase guide。这将使您更清楚Hbase。

Jmeter可以帮助您向服务器发送多个查询以进行测试。

Nutch是基于hadoop的开源网络抓取工具。 Solr是一个在内部利用lucene的搜索平台。您可以查看这些内容以了解其设计并实施您的网络搜索应用程序。