收集Twitter数据(推文)并存储在数据库中

时间:2014-08-19 20:02:18

标签: php twitter twitter-streaming-api phirehose

我正在尝试收集有关收集推文并将其存储在database中的最佳方式的一些信息。我一直在查看Twitter Streaming API并查看名为Phirehose的界面,该界面似乎可以轻松设置点击此流并收集数据的方式。

我只是想知道这是否只是这样?或者,如果有人可能会建议更好的方法吗?

我为问题的广泛性而道歉,但我只是想获得一些可能指向正确方向的信息。

2 个答案:

答案 0 :(得分:2)

Phirehose是针对您描述的用例而设计的:它负责连接(并且还会在重新连接失败时处理后退等事情)。

您提到的只对某个地理区域感兴趣。使用Phirehose的setLocation()来做到这一点。有关如何执行此操作,请参阅phirehose示例目录中的filter-track-geo.php。 (但请注意,您错过了住在隔壁的用户的推文,但决定不在他们的推文中提供他们的位置。)

另一种方法是不使用streaming API并使用标准REST API进行投票。据我所知,流媒体API没有提供任何功能,但具有更多的延迟和开销。

答案 1 :(得分:1)

Firehouse API将返回所有公开推文 - 这对于大多数应用程序来说可能要处理很多(并且可能也无法免费访问)。 但您可以使用Sample API,每分钟发送3000条样本推文。请参阅here

此(或任何其他Twitter API)可用作REST API。您可以创建自己的代码来读取API,也可以使用已经存在的许多库中的一个。有关库的列表,请参阅here

此致 丹尼尔