标签： python html web-scraping
我试图从许多网站上搜索搜索结果。问题是并非所有这些网站都将其搜索结果作为普通的html文本返回，其中很多是使用JS，AJAX等动态生成的。但是，通过使用Firefox查看页面，我可以看到我需要的确切内容检查员，因为脚本都运行并修改了html。
我的问题是：在允许脚本运行之后，我是否有办法下载网页，或者至少让它们在本地运行。这样，我就得到了最终的HTML。
作为参考，我使用的是python。
答案 0 :(得分：0)
可能duplicate。在这种情况下，问题是与PHP和JS。
当然，您必须为脚本（js）提供一些运行环境，并经常将测试值返回给目标服务器。对于服务器端语言来说并不容易。因此，今天我们主要利用浏览器驱动或模仿那里提到的工具。
我为你找到了类似于 v8js php插件的python：PyV8。
PyV8是Google V8引擎的python包装器，它充当Python和JavaScript对象之间的桥梁，并支持在python脚本中托管Google的v8引擎。
如果配置正确，您的刮刀：