汇总像facebook这样的个人资料

Question

只是想知道你们如何使用nosql（如redis）做一个简单的facebook这样的feed聚合器。

基本上你有很多个人资料，每个个人资料都有自己的资讯。每当用户请求聚合时，系统将只获取所有这些配置文件，处理它们（并将它们分组）然后显示给用户。这种方法的问题是当有人喜欢1000个朋友时，系统必须获取1000个提要（无论是否有任何更新），然后处理它们。

你们会怎么做？

Answer 1

显然，如果您无法实时更新，则需要在用户提出要求之前完成更新 - 基本上，您有一个所有已知源的列表，并定期检查更新，可能是基于关于每个Feed的更新频率。当用户请求聚合时，您只需要返回已有的数据。

确保数据合理更新有点棘手。如果你是谷歌，你可以每隔几分钟检查整个互联网 - 对大多数人来说不是一个选择。但是，通过结合智能更新计划和使用实时api，您可以合理地接近实时。对于类似的我正在研究的基本架构是一个数据存储，它包含所有帖子和许多进程，可以从特定类型的提要中提取数据，并以通用格式将帖子添加到数据存储中。