在python中请求之间的时间间隔？

Question

使用python请求模块（获取功能）我正在抓取链接，即爬虫。我使用脚本发出多个请求。由于我提出了太多要求，谷歌干预了CAPTCHA，后者在一段时间后重置。我正在使用时间模块在每次请求之后将代码置于休眠状态一段时间以避免它。我想知道什么是让脚本进入睡眠的适当时间，以便Google不会将其视为无效流量？ （我正在使用大学代理服务器）

Answer 1

我创建此网站对正确抓取非常有帮助：h

• https://www.scrapehero.com/how-to-prevent-getting-blacklisted-while-scraping/
• https://webscraping.com/blog/How-to-crawl-websites-without-being-blocked/

享受！