Puppeteer 网页抓取缺少 html 的一部分

时间:2021-05-05 07:54:29

标签: node.js web-scraping puppeteer cheerio

我正在尝试抓取此网站:https://kineticlabs.store/switches。但是,当我运行下面的代码时,与在 Chrome 上检查网页相比,html 缺少许多子 div 元素。我很困惑为什么会这样,因为它似乎只发生在这个特定的网站上。提前致谢。

let page = await configureBrowser(url);
    await page.reload();
    let html = await page.evaluate(() => document.body.innerHTML);

1 个答案:

答案 0 :(得分:2)

链接的站点是一个单页应用程序,所有这些应用程序都使用 JavaScript 呈现,因此您需要给它时间来加载、解析和呈现。

最好等待一个保证只有在应用程序启动后才存在的元素。

{1}