我想使用Twitter流API,服务器需要有多强大才能处理它?

时间:2012-10-05 19:43:26

标签: api twitter streaming

我目前有一个使用每分钟运行的Twitter搜索API的cron作业,但这限制了我每个请求只有100个结果,我希望开始使用流API,但担心这会进一步增加服务器负载(我现在正在使用共享主机,而我的cron工作已经引发了一些危险信号。)

我的问题是,为了在没有任何数据积压的情况下充分捕获流式API数据,我应该获得的服务器上的最低规格是什么?

1 个答案:

答案 0 :(得分:0)

我使用过并且看过其他人也这样做的设计是使用消息队列。通过专用于此目的的线程将推文加载到队列中。然后你可以在队列的另一边有另一个线程读取推文并根据需要进行处理。这是我正在谈论的一个很好的例子:

http://www.laurentluce.com/posts/python-twitter-statistics-and-the-2012-french-presidential-election/

没有足够的分析,没有人可以告诉你,你的规格应该是什么。根据您的问题的评论之一,您将获得的最接近的答案是尝试它。通常,在您想要做的事情上做一个快速原型,看看效果是什么,并根据需要进行测量。同样,这里有许多建筑原则,所以有人告诉你应该做什么是不明智的。