如何通过大量的Twitter数据流？

Question

我将开展一个项目，该项目需要在Twitter及其推文上使用哈希标记的许多推文的实时输出。与MTV的Twitter追踪器类似：http://vma-twittertracker.mtv.com/live/#buzz。

我对这个网站感兴趣的是他们如何在不违反请求限制的情况下不断向Twitter发出API调用？

如果有人能以最有效的方式指导我，我会感激不尽。根据我迄今为止进行的研究，我认为我需要使用Twitter的Streaming API。

由于输出到我的页面的推文数量有可能是数千（加载AJAX）以及转发/收藏数量的统计数据，我的.NET网站中最具扩展性的方法是什么？任何例子或指导都将不胜感激。

Answer 1

结帐Linq2Twitter。它是Twitter API的绝佳包装，并提供了两种可以帮助您的机制：

• 有一个搜索功能，允许您搜索哈希标签等，这将限制您获得的数据量
• 您可以选择指定自特定推文ID以来的所有数据。因此，您可以通过在后续通话中执行搜索和搜索，从您上传的ID中逐步搜索Feed。

我已多次使用此搜索公共Feed并且迄今未遇到任何问题。我认为搜索功能是关键，不要求太多。祝你好运！

Answer 2

你可以看看Storm框架。以下几个链接供进一步参考： -

http://storm-project.net/

https://github.com/nathanmarz/storm

Answer 3

感谢您的所有回复。

看起来像显示大量Twitter统计信息/数据的网站使用third party approved providers可以直接访问Twitter's Firehose API。

我设法与经过批准的提供商取得联系，为我们提供所需数据的提要（而且价格便宜！）。