python - scrapy如何在内部发送Web请求？ - Thinbug

scrapy如何在内部发送Web请求？

时间：2018-10-22 11:15:13

标签： python web-scraping scrapy web-crawler scrapy-spider

我正在尝试找出scrapy用来发送Web请求的软件包。

我已经检查了github中的源代码，但是我不能

有人可以帮我吗

1 个答案:

答案 0 :(得分：1)

AFAIK，内部使用twisted.web.http.HTTPClient进行抓取，但是上面还有很多机器。寻找arch overview了解详情