服务器端Web抓取/导航解决方案(支持JavaScript)

时间:2011-08-31 19:32:51

标签: javascript web-scraping

我需要进行服务器端网络抓取/导航,包括使用JavaScript的网站,我需要一个可以在托管计划上运行的解决方案 - 我没有自己的服务器。 我遇到了python / pyside / pyqt4 - 这将完美地工作/允许我像无头浏览器一样浏览网站。但是我不知道是否可以在远程服务器/主机上安装...

1 个答案:

答案 0 :(得分:2)

如果您需要无头浏览器,您应该查看PhantomJS,特别是Python实现PyPhantomJS。这些可能在共享主机环境中工作 - 它实际上取决于主机。请参阅build instructions for different platforms - 您可能需要请求您的托管服务提供商安装。

如果你可以开始运行,你可能会对pjscrape(免责声明:这是我的项目)感兴趣。它是一个使用PhantomJS的命令行工具,允许在完整的浏览器环境中使用JavaScript和jQuery进行抓取。

相关问题