标签： ajax html5 scrapy web-crawler splash
我使用scrapy和splash来爬行网站中的所有URL。在某些带有静态html的网站中，它的工作原理非常好！但是，当我在某个网站上抓取具有AJAX页面和html5时，我无法获取任何网址（例如：http://testphp.vulnweb.com/AJAX/，http://testhtml5.vulnweb.com）。有人对此问题有解决方案吗？ 非常感谢！
答案 0 :(得分：0)
使用 Request 软件包python
您可以生成内容请求并获得响应。
示例代码here