如何使用带有ASP和AJAX的node.js来抓取网站

时间:2014-03-12 16:42:08

标签: javascript asp.net ajax node.js web-scraping

2 个答案:

答案 0 :(得分:1)

查看PhantomJS(http://phantomjs.org/)和CasperJS(http://casperjs.org/)。 两者都使用nodejs构建并且可以执行javascript - 您应该能够使用它们来抓取该站点。

答案 1 :(得分:0)

最后。我从facegroup得到了答案。实际上URL错了。所以url实际应该是:

urllib.request('http://www.prt.cl/infovehiculomttwsNew.asmx/infoVehiculoMTT', {
    method: 'POST',
    data: {ppu: 'CDSR70'} 
}, function(err, data, res) {
    if(!err && res.statusCode == 200){
        var $ = cheerio.load(data);
        $('*').each(function() {
            console.log($(this).text());                
        });
    }
    else
        //TODO 
        throw err;
});