如何并行查询Twitter时间线？

Question

我正在构建一个Twitter应用程序，我将从用户的时间线中提取大量数据。为了速度，我需要并行查询时间轴。我的目标是从API中提取1000个用户的推文，但Twitter API将每个请求的推文数量上限设置为200。分页通过指定上一个请求中的最后一个（最旧的）推文的ID来工作，因此我需要知道先前API调用的结果以进行下一个调用。此方法不可并行化。是否有任何替代方法可以从Twitter API获取用户时间线，我可以在其中发出并行请求（有page属性，但已被弃用，并且在不久的将来将无效。）

Answer 1

你必须记住的是，Twitter与外部开发者之间存在着艰难的关系。使用他们的API来处理任何有趣的事情是他们根本不允许的。

您需要访问Firehose。

然而，even if you're willing to pay a million dollars a year - Twitter并不感兴趣。

你可以尝试从像Gnip这样的第三方获取它，但是 - 再次 - 可能会很昂贵。

所以，基本上，你不能。 Twitter对业余开发人员对他们的平台做任何创新都不感兴趣。遗憾。