在加载网页期间获取特定请求网址

Question

在加载this web page期间，浏览器会发出很多请求， 现在我在加载过程中需要一个特定的请求URL（egstarts with 'http://api.le.com/mms/out/video/playJson?'），请求是在NPAPI的adobe flash player插件启用的情况下发出的，所以有什么方法可以获取url？

P.S。最好显示一些代码，我是这个领域的新手。

Answer 1

Scrapy在处理页面时没有处理请求，您要么专门知道您想要的URL并直接请求它

或

您必须使用类似scrapy-splash的内容，它可以返回HAR文件，其中包含加载页面时发出的所有请求。唯一的缺点是，splash不会返回每个请求的内容，只有headers =（

如果您绝对需要请求的内容，最好将Selenium与browsermob一起使用，如果您找到更好的解决方案，请告诉我们。

修改

现在看来Splash确实处理了请求＆＃39;身体，检查@Mikhail评论。