像Google这样的搜索引擎是基于Map Reduce.How doeis它实际上发生了。假设我在搜索中给出一个字符串,在映射器之后会发生什么,映射器输出什么作为键值对什么进入reducer? 感谢。
答案 0 :(得分:1)
相关问题:How can Google be so fast?
我只知道我曾经与谷歌的一个人讨论过(我无法完全验证其准确性),但他基本上告诉我他们使用了map reduce来构建所有网络中出现的所有单词的所有索引页面。然后为了解决查询,他们使用了这样的东西:http://en.wikipedia.org/wiki/Distributed_hash_table因此,对于你给出的每个单词,他们可以计算哈希值,并确切地知道他们网络中哪台计算机具有与搜索相关的信息(索引)。那个词。所以他们将请求转发给那台计算机(他们也使用了很多冗余),这可能会将大部分信息都存储在内存中。