Map Reduce如何为搜索字符串工作

时间:2012-07-07 18:06:15

标签: hadoop

像Google这样的搜索引擎是基于Map Reduce.How doeis它实际上发生了。假设我在搜索中给出一个字符串,在映射器之后会发生什么,映射器输出什么作为键值对什么进入reducer? 感谢。

1 个答案:

答案 0 :(得分:1)

相关问题:How can Google be so fast?

我只知道我曾经与谷歌的一个人讨论过(我无法完全验证其准确性),但他基本上告诉我他们使用了map reduce来构建所有网络中出现的所有单词的所有索引页面。然后为了解决查询,他们使用了这样的东西:http://en.wikipedia.org/wiki/Distributed_hash_table因此,对于你给出的每个单词,他们可以计算哈希值,并确切地知道他们网络中哪台计算机具有与搜索相关的信息(索引)。那个词。所以他们将请求转发给那台计算机(他们也使用了很多冗余),这可能会将大部分信息都存储在内存中。