从Facebook访问大量数据

Question

所以我正在开发一个Rails应用程序，我正在设计它的人有一个看似极其庞大的数据量要求。他们希望收集登录到应用程序的用户的所有帖子，以及过去一年中他们每个朋友的所有帖子。

在向我传达这个特定级别的细节之前，我使用fb_graph gem构建了这个东西，并通过帖子进行分页。我遇到的事实是，首先需要很长时间才能完成此操作，即使我更改了每页请求的帖子数量。其次，我经常遇到Oauth错误＃613，每600秒超过600个请求。在将每个请求增加到200个帖子之后，我更少地遇到此限制，但是仍然需要非常长的时间才能获得所有这些数据。

我对FQL替代方案并不是特别熟悉，但在我看来，我们将不得不优先考虑速度或数据量。有没有一种我错过的方法可以让我快速检索出这种级别的信息？

编辑：我会在检索数据库时将所有帖子保存到数据库中。所需要的是为用户和朋友进行一次通过并抓住过去一年的所有帖子。这个过程需要很长时间，我基本上想知道是否有任何可以加快的方法。

Answer 1

我想在此指出一件事：
您应该为用户的帖子实现某种本地缓存。我的意思是，不是每次都要查询帖子，而是要将帖子保存在本地数据库中，只检查新帖子（如果需要）。

这样可以更快地为您节省许多API请求。