Node.js + Cheerio:在循环中请求

时间:2015-11-03 18:58:08

标签: node.js cheerio

我正在使用cheerio,request和Node.js。

当我运行下面的脚本时,它会以错误的顺序输出名称。我相信它是由它的异步性质引起的,我怎样才能让它在"右边"订购?我是否需要使用同步包,或者是否有办法以某种方式更改它以便它以同步方式工作?

app.get('/returned', function (req, res) {
    for (var y = 0; y < 10; y++) {
        var url = "http://example.com" + y + "/person.html";
        request(url, function (err, resp, body) {
            $ = cheerio.load(body);
            var links = $('#container');
            var name = links.find('span[itemprop="name"]').html(); // name
            if (name == null) {
                console.log("returned null");
            } else {
                console.log(name);
            }

        });
    }
});

2 个答案:

答案 0 :(得分:6)

承诺使这相对容易:

app.get('/returned', function (req, res) {
    let urls = [];
    for (let y = 0; y < 10; y++) {
        urls.push('http://example.com' + y + '/person.html');
    }
    Promise.all(urls.map(function (url) {
        return new Promise(resolve, reject) {
            request(url, function (err, resp, body) {
                if (err) {return reject(err);}
                let $ = cheerio.load(body);
                let links = $('#container');
                let name = links.find('span[itemprop="name"]').html(); // name
                resolve({name: name, links: links, url: url});
            });
        });
    }).then(function (result) {
        result.forEach(function (obj) {
            if (obj.name == null) {
                console.log(obj.url, "returned null");
            } else {
                console.log(obj.url, obj.name);
            }
        });
    }).catch(function (err) {
        console.log(err);
    });
});

我首先创建了一个url数组,然后将其映射到promises数组。当每个请求都完成后,我用名称,URL和链接解析了promise。当所有承诺都完成后,我将循环查看将按原始顺序排列的结果。这是并行的。

答案 1 :(得分:1)

不,你不应该使用同步包。 IMO最干净的方法是使用成熟的第三方库。

我建议异步。

async.series方法将按照给定的顺序执行所有请求函数,然后允许您在发出所有请求或发生错误时注册回调以激活。

https://github.com/caolan/async#seriestasks-callback