我目前正在使用python请求下载大约20,000页的json。由于服务器的速率限制，我正在遇到一些瓶颈问题，而且可能缺少异步调用/调度。我认为scrapy是一个很好的解决方案，因为我听说它具有解决与刮擦相关的这些问题的功能。问题是，这些是我需要的唯一部分，我不需要蜘蛛/解析/ orm /等。看一下这些文档，我不知道如何分离出这些组件。我需要一个微服务来解决scrapy的这些部分。 Flask to Scrapy＆＃39; Django。我看到grequest可能有助于async，但如果我走这条路线，我仍然需要速率限制和重试失败请求的方法。有人能指出我正确的方向吗？