标签: python web-crawler grequests
我使用grequests抓住这个网站(速度非常慢),在前几百个请求中我得到了大约200个HTTP响应,但在某个时刻,我得到的都是无响应(没有任何提出的例外)。
最奇怪的部分是,如果我尝试再次运行抓取,而第一次抓取仍在运行并获得无响应,则第二次抓取会收到200个回复。
顺便说一句,我非常确定我抓取的网站没有任何抓取保护。
这是我的代码:
{{1}}