Question

我正在第一次使用Node js进行服务器端（自我）项目，但遇到了一些困难。

我的目标是：

第一部分-我在服务器中使用“ / uploads / processData” URL从用户请求中获取URL。

现在，我想访问用户请求URL并获取其HTML文件，为此，我正在使用“请求” npm程序包（下面的代码）。

第二部分-我想访问从请求包中返回的正文（从第一部分），因此我正在使用cheerio npm包来实现。

现在是我的问题-可以说我正在尝试获取网址的正文：

https://www.amazon.com/NIKE-Mens-Lunarconverge-Running-Shoes/dp/B06VVFGZHL?pd_rd_wg=6humg&pd_rd_r=61904ea4-c78e-43b6-8b8d-6b5ee8417541&pd_rd_w=Tue7n&ref_=pd_gw_simh&pf_rd_r=VGMA24803GJEV6DY7458&pf_rd_p=a670abbe-a1ba-52d3-b360-3badcefeb448&th=1

出于某种我无法理解的原因（可能是由于Web开发方面的知识不足），我没有总是获得与我使用F12审查以上页面（链接）时看到的相同内容，加上我的第一部分代码。因此，有时我的cheerio提取（第二部分）按我的预期工作，有时却不行（因为缺少完整/原始HTML文件中的某些元素）。起初我以为可能是缓存，所以我添加了一个中间件来设置“ nocache”标志。

我在这里想念什么？我尝试操作的方式是否错误？有什么方法可以确保我每次都能获得相同的完整/原始HTML？

到目前为止，这是我的代码- nocache中间件

function nocache(req, res, next) {
res.header("Cache-Control", "private, no-cache, no-store, must-revalidate");
  res.header("Expires", "-1");
  res.header("Pragma", "no-cache");
  next();
}

编辑

uploadRoutes.post("/processGoogleSearchData", nocache, (req, res) => {
  //Assuming getting in req.body the google result JSON as "googleSearchResult"
  var itemsArr = [];
  var linksArr = [];
  var bodysArr = [];
  itemsArr = req.body.googleSearchResult.items;
  if (itemsArr.length === 0) {
    //return appropriate message
    return res.status(400).send({ message: "No data sent to server" });
  }
  var linksArr = itemsArr.map(item => item.link);

  //Get the needed info from every link
  linksArr.forEach(link => {
    request(link, (err, response, body) => {
      if (!err && response.statusCode === 200) {
        var $ = cheerio.load(body);
        var tr = $(".a-lineitem").children();
        var priceTd = tr.find(".a-span12");
        var priceSpan = priceTd.find("#priceblock_ourprice");
        console.log(priceSpan.text());
        //when trying to build array of bodys the extraction doesnt work at all
        bodysArr.push(body);
      }
    });
  });
  res.send(bodysArr);
});

我将代码更改为上述代码，似乎数据提取的工作频率更高。谁能解释为什么有时提取仍然无效？我尝试将return bodysArr用于调试目的，但是当我这样做时提取根本不起作用，并且路径响应始终为空数组，为什么？

Answer 1

问题在于：

res.send(bodysArr);

在调用

之后立即执行

linksArr.forEach(link => {

回调

(err, response, body) => {
  if (!err && response.statusCode === 200) {
    var $ = cheerio.load(body);
    var tr = $(".a-lineitem").children();
    var priceTd = tr.find(".a-span12");
    var priceSpan = priceTd.find("#priceblock_ourprice");
    console.log(priceSpan.text());
    //when trying to build array of bodys the extraction doesnt work at all
    bodysArr.push(body);
  }

不能保证已经开除。您想要的是确保在所有请求均发生后res.send（bodysArr）运行

有几种方法可以解决此问题，其中一种就是使用出色的async library。

希望您可以通过此示例了解其要点。

var array = [1,2,3]

function asyncRequest(input, callback){
  //Do your fetch request here and call callback when done
  setTimeout(callback, 10); //using setTiemout as an example
}


async.each(array, asyncRequest, (err) => {
  if(err){
    throw err;
  }
  console.log("All Finished");
});

<script src="https://cdnjs.cloudflare.com/ajax/libs/async/2.6.1/async.min.js"></script>

Answer 2

查看Sudsy的解释后，我遇到了异步方法的循环。

在玩这个主题时，我无法弄清楚我的以下代码出了什么问题：

这很好用-所以我最终使用了它

async function getItemsInfo(itemsArr) {
  return itemsArr.map(async item => {
    try {
      var body = await axios(item.link);
      var $ = await cheerio.load(body.data);
      var tr = await $(".a-lineitem").children();
      var priceTd = await tr.find(".a-span12");
      var priceSpan = await priceTd.find("#priceblock_ourprice");
      return priceSpan.text();
    } catch (err) {
      return err.message;
    }
  });
}

getItemsInfo(linksArr)
    .then(res => Promise.all(res))
    .then(res => console.log(res))
    .catch(err => console.error(err));

有人可以向我解释以下代码有什么问题吗？

async function getItemsInfo(itemsArr) {
  await Promise.all(
    itemsArr.map(async item => {
      try {
        var body = await axios(item.link);
        var $ = await cheerio.load(body.data);
        var tr = await $(".a-lineitem").children();
        var priceTd = await tr.find(".a-span12");
        var priceSpan = await priceTd.find("#priceblock_ourprice");
        return priceSpan.text();
      } catch (err) {
        throw err.message;
      }
    })
  )
    .then(resulst => {
      return results;
    })
    .catch(err => {
      throw err.message;
    });
}
//the caller function
try {
    getItemsInfo(linksArr).then(results => {
      res.status(200).send(results);
    });
  } catch (err) {
    res.status(400).send(err.message);
  }

或

async function getItemsInfo(itemsArr) {
  const promises = itemsArr.map(async item => {
    try {
      var body = await axios(item.link);
      var $ = await cheerio.load(body.data);
      var tr = await $(".a-lineitem").children();
      var priceTd = await tr.find(".a-span12");
      var priceSpan = await priceTd.find("#priceblock_ourprice");
      return priceSpan.text();
    } catch (err) {
      return err.message;
    }
  });

  var results = await Promise.all(promises)
    .then(results => {
      return results;
    })
    .catch(err => {
      return err.message;
    });
  }

    //the caller function
    try {
            getItemsInfo(linksArr).then(results => {
              res.status(200).send(results);
            });
          } catch (err) {
            res.status(400).send(err.message);
          }

NODE JS-请求npm-操作网址正文

2 个答案: