Twitter流媒体API:带宽有限吗?

时间:2011-06-02 13:51:09

标签: streaming twitter

我想汇总所有Twitter推文(是的,我很疯狂),以便制作一些统计数据。 我没有特别许可,我只是一个简单的推特用户。 首先,我只是测试它是否可能:我继续我的服务器,它有100 Mbs带宽(我检查它是真的), 我运行这个命令:

curl -d 'track=http' http://stream.twitter.com/1/statuses/filter.json -umyuser:mypasswd | grep 'xxxxxx'

我把'grep'只是为了没有显示推文,并且由于在屏幕上显示文字而没有限制。 然后我使用'dstat'检查使用的带宽:它始终限制在128KB / s(仅1Mbs)。由于推文重量约为2K,似乎我每秒只能传输大约64条推文...比实际情况要少得多(我相信超过1000条推文/秒......)。 事件,如果我在轨道列表中添加一些频繁的术语,带宽将达到128KB / s。

你有什么想要获得完整的流媒体?

1 个答案:

答案 0 :(得分:1)

除非您被授予权限,否则您无法访问完全未计量的firehose流。只有基本权限,您将使用filter或使用sample(将提供Twitter推文量的大约1%)降级到您现在正在做的事情。

您可以尝试通过询问Twitter获得提升的访问权限,但是他们似乎并没有将提升的权限移除,除非您能够很好地证明您的用例。