Twitter Live Search

时间:2010-09-06 10:23:45

标签: search architecture twitter search-engine live

我试图对Twitter-Live Search进行逆向工程。也许我们可以在这里讨论它。我正在谈论推文显示最新的功能“1秒前”等等。试图了解以下情况如何发生 -

  1. 用户推文和&之间必须有一些层。当索引(更新)发生时。这层是MySQL还是其他一些缓存层(memcached,cassandra)?也许......
  2. 建立索引 - 索引更新如何发生?他们不可能从头开始建立新的索引吗?
  3. 索引 - 此处必须有分布式索引。如何更新所有索引而无需提供来自一个索引的陈旧数据来自对方的最新数据?
  4. 索引 - 或者这样的事情发生了吗?老实说,我不这么认为:)哪位用户会注意到......
  5. 任何人都有任何有趣的添加/讨论。我只是想了解......

1 个答案:

答案 0 :(得分:0)

确实有趣,但我想这更像是一个“架构”问题,而不是一个真正的编程问题。

但是,我们在高可扩展性方面有很多信息:posts tagged with twitter

他们会保留所有推文吗?我的猜测是他们只是在一段时间之后将它们扔掉,当然它们不需要ACID属性? ..

如果我在哪里,我不相信那些时间戳:)