用于动态页面的Web scraper软件

时间:2015-07-09 07:51:33

标签: html web-scraping

我正在为朋友做一些搜索引擎优化工作,在我开始之前,想要对他的网站进行适当的清点。但是,他的大部分网站都是动态的 - 内容是从URL参数发起的数据中提取的,而html在页面加载之前不会呈现数据。这意味着传统的刮刀,例如Httrack,不会占用大部分页面内容。

有几十个 - 甚至几百个页面(由于URL参数的排列数量)。

任何人都可以想到一个工具,我可以用它来浏览每一个并获得渲染页面的实际html

0 个答案:

没有答案