Question

我正在使用抓取功能从数组中列出的一堆urls中获取一些数据。以下是以下功能：

function getNbShares(urls) {
    return Promise.map(urls, request).map((htmlOnePage, index) => {
        const $ = cheerio.load(htmlOnePage),
            share = $('.nb-shares').html();
        return {
            url: urls[index],
            value: share
        };
    }).catch(function (urls, err) {
        return {
            url: urls[index],
            value: err
        };
    });
}

它工作正常，但错误处理不是。我想要的是，当我有一个错误（因为页面没有加载或者DOM选择器是错误的）时，map函数/请求继续执行是作业并且它返回错误（或null）作为值附加到最终数组对象中的url。

Answer 1

我认为你只想在映射函数中提前做一点处理;我认为你可以避免两个单独的映射操作;见评论：

function getNbShares(urls) {
    return Promise.map(
        urls,
        url => request(url)
                .then(htmlOnePage => {                   // Success, so we parse
                    const $ = cheerio.load(htmlOnePage), // the result and return
                        value = $('.nb-shares').html();  // it as an object with
                    return { url, value };               // `url` and `value` props
                })
                .catch(error => ({url, error}))          // Error, so we return an
                                                         // object with `url` and
                                                         // `error` props
        }
    );
}

（我假设您正在使用ES2015 +，因为您使用的是箭头功能。）

我可能会选择考虑其中的一部分：

function getNbSharesFromHTML(html) {
    const $ = cheerio.load(html);
    return $('.nb-shares').html();
}
function getNbShares(urls) {
    return Promise.map(
        urls,
        url => request(url)
                .then(htmlOnePage => ({url, value: getNbSharesFromHTML(htmlOnePage)))
                .catch(error => ({url, error}))
        }
    );
}

可能更小的部分：

function getNbSharesFromHTML(html) {
    const $ = cheerio.load(html);
    return $('.nb-shares').html();
}
function getNbSharesFromURL(url) {
    return request(url)
            .then(htmlOnePage => ({url, value: getNbSharesFromHTML(htmlOnePage)))
            .catch(error => ({url, error}));
}
function getNbShares(urls) {
    return Promise.map(urls, getNbSharesFromURL);
}

将错误作为带有promise

1 个答案: