我正在使用cheerio来制作爬虫,但在某些网站中,脚本是异步的,当我尝试从中获取所有脚本时,它们不会被选中。 这是我使用的代码:
function Test(webUrl) {
request(webUrl, function(err, resp, html){
if(!err && resp.statusCode == 200) {
var $ = cheerio.load(html);
console.log($('script'));
}
});
}
有人有任何解决方案吗?感谢
答案 0 :(得分:0)
您需要使用PhantomJS来抓取动态内容。
以下是示例:http://code4node.com/snippet/web-scraping-with-node-and-phantomjs