使用多个关键字抓取Twitter

Question

我们有一些关于组建网络抓取工具以从Twitter收集一些数据的快速问题。

例如，如果我们想使用几百个user IDs作为关键字来收集一些必要的推文。但是，似乎我们只能使用有限数量的关键字（12？），我们可以同时启动一个爬虫。

任何提示？

Answer 1

由于Twitter API restrictions (rate limiting)，抓取整个网站是不可想象的，除非你有很多时间或者除非你付费才能获得twitterhose的特殊访问权限，这应该是解决问题的唯一途径你提到的问题