我正在构建一个Twitter应用程序,我将从用户的时间线中提取大量数据。为了速度,我需要并行查询时间轴。我的目标是从API中提取1000个用户的推文,但Twitter API将每个请求的推文数量上限设置为200。分页通过指定上一个请求中的最后一个(最旧的)推文的ID来工作,因此我需要知道先前API调用的结果以进行下一个调用。此方法不可并行化。是否有任何替代方法可以从Twitter API获取用户时间线,我可以在其中发出并行请求(有page
属性,但已被弃用,并且在不久的将来将无效。)
答案 0 :(得分:1)
你必须记住的是,Twitter与外部开发者之间存在着艰难的关系。使用他们的API来处理任何有趣的事情是他们根本不允许的。
您需要访问Firehose。
然而,even if you're willing to pay a million dollars a year - Twitter并不感兴趣。
你可以尝试从像Gnip这样的第三方获取它,但是 - 再次 - 可能会很昂贵。
所以,基本上,你不能。 Twitter对业余开发人员对他们的平台做任何创新都不感兴趣。遗憾。