在nodeJS中使用crawler并没有给我任何结果,但是当我在浏览器中尝试相同的代码时,它给出了。我的代码出了什么问题?

时间:2015-07-02 11:47:59

标签: jquery node.js web-crawler cheerio

我在nodeJS中使用了crawler,如下所示

var c = new Crawler({
    maxConnections : 10,
    callback : function (error, result, $) {}
});

c.queue([{
    uri: 'https://in.linkedin.com/nhome',
    jQuery: true,
    callback: function (error, result,$) {
        var str=[];
        $("#directory>.primary>li:not(.country-search)>a",result.body).each(function(){
            var tmpp=$(this).attr("href");
            str.push(tmpp);
        });
        console.log(str.length);     
    }
]);

返回0

但如果我转到“https://in.linkedin.com/nhome/”并在firebug中尝试按照代码

var str=[];
        $("#directory>.primary>li:not(.country-search)>a").each(function(){
            var tmpp=$(this).attr("href");
            str.push(tmpp);
        });
        console.log(str.length);

它工作正常,返回27。

我在我的代码中做错了

1 个答案:

答案 0 :(得分:0)

问题在于uri

链接https://in.linkedin.com/nhome 错误的正确的uri是https://in.linkedin.com/nhome/

没有" /"它被重定向到另一个页面,我的报废代码无效。