标签: python selenium web-scraping scrapy
当我抓取页面时,通常有多个由第一个GET请求触发的中空HTTP请求,这些HTTP请求要么包含对象(图像,脚本,样式表),要么通过javascript动态触发(逐步加载的内容)。
我想捕获这些请求,包括请求URL和响应。有办法用Scrapy / Spalsh或Selenium吗?我目前正在考虑的解决方案是将Scrapy与Scapy结合使用,但是如果有更简单的方法,我不想对其进行过度设计。