有没有办法用服务器端编程语言获取延迟加载站点的HTML?

时间:2013-12-21 14:16:01

标签: web-scraping server-side

我需要获取实现延迟加载的站点的DOM树,即只要您使用浏览器滚动某个点,就会使用AJAX调用获取内容。 (只是为了澄清,我在延迟加载函数插入内容后需要DOM树)

我不关心解决方案是否有点混乱或不稳定,因为这是私人项目。我也不关心所涉及的技术,除了它必须是服务器端技术并且在没有图形用户界面的Linux服务器上可用。

欢迎任何想法。

1 个答案:

答案 0 :(得分:1)

我建议PhantomJS简单的抓取(cURL,wget等)是不够的。