阻止对nodejs请求加载图像

时间:2017-10-17 22:06:22

标签: node.js parsing web-scraping request cheerio

我使用requestcheerio来解析nodejs中的一些网页。我们每天都会这样做超过20次,因此我们丢失了许多用于加载图像和css内容的带宽,这些内容对于解析无用。

我使用了这样的代码:

request(url, function (error, response, html) {
  if (!error && response.statusCode == 200) {
    var $ = cheerio.load(html);
    $('.n-item').each(function(i, element){
      //do something
    });
  }
});

1 - 我想知道请求加载图片/内容并且可能会丢失我的服务器带宽这是正确的吗?

2 - 向我展示一个防止加载图片/内容的解决方案

感谢

1 个答案:

答案 0 :(得分:1)

请求本身不会解析HTML代码或运行Javascript。它将仅下载源或您输入的URL。如果是普通网站,则按字面意义返回HTML源。

唯一可以通过“请求”提取图像的方法是使用直接链接到图像的URL。例如User