标签： python asynchronous proxy web-crawler python-requests
我正在编写爬虫以监控一堆政府网站，而且他们似乎对单个IP地址可以执行的页面请求数量有一些愚蠢的限制。
我严重依赖于早期和稍后的请求模块以获得速度。但现在结果是grequest不支持代理，我需要通过代理支持进行高吞吐量下载。我应该手动使用gevent请求还是有更好的解决方案？