使用Scrapy或Selenium抓取页面时捕获后续HTTP请求

时间:2019-06-08 18:52:24

标签: python selenium web-scraping scrapy

当我抓取页面时,通常有多个由第一个GET请求触发的中空HTTP请求,这些HTTP请求要么包含对象(图像,脚本,样式表),要么通过javascript动态触发(逐步加载的内容)。

我想捕获这些请求,包括请求URL和响应。有办法用Scrapy / Spalsh或Selenium吗?我目前正在考虑的解决方案是将Scrapy与Scapy结合使用,但是如果有更简单的方法,我不想对其进行过度设计。

0 个答案:

没有答案