我正在编写一个爬虫程序,用于获取twitter中的用户信息(其名称,状态数量,以及twitter的API用户对象的其他属性)。我激活了wait_on_rate_limit=True
,以便程序在迭代用户和用户的朋友等时自动等待。爬虫基本上获取用户的朋友列表,挑选朋友,并获取其朋友列表。但是,当超过速率限制时,如果程序可以加载之前加载的某些用户的推文(因为用户和推文的速率限制是独立的),那就太好了。
所以问题是:如何检测是否超过了速率限制?我能够执行一些代码来处理信息或获取其他类型API对象的更多信息吗?