无法用cheerio刮掉异步脚本

时间:2017-03-09 21:35:43

标签: javascript node.js web-scraping cheerio

我正在使用cheerio来制作爬虫,但在某些网站中,脚本是异步的,当我尝试从中获取所有脚本时,它们不会被选中。 这是我使用的代码:

function Test(webUrl) {
    request(webUrl, function(err, resp, html){
        if(!err && resp.statusCode == 200) {
            var $ = cheerio.load(html);
            console.log($('script'));
        }
    });
}

有人有任何解决方案吗?感谢

1 个答案:

答案 0 :(得分:0)

您需要使用PhantomJS来抓取动态内容。

以下是示例:http://code4node.com/snippet/web-scraping-with-node-and-phantomjs