使用幻像(Node.js)进行抓取时向下滚动

时间:2019-04-03 09:49:00

标签: javascript node.js phantomjs

我正在使用幻像抓取动态网页内容,并且需要向下滚动以显示所有页面内容。

我已经尝试过此await page.property('scrollPosition', { top: 1000, left: 0 });,但对我来说不起作用,内容仍然相同。

这是我的代码:

(async function() {
    const instance = await phantom.create();
    const page = await instance.createPage();
    await page.on("onResourceRequested", function(requestData) {
      //console.info("Requesting", requestData.url);
    });

    const status = await page.open(
      "https://www.articles-epresse.fr/media/894eab75-c642-46a2-a1ba-b240c278ebbc?"
    );

    if (status == "success") {
      await page.property("scrollPosition", {
        top: 1000,
        left: 0
      });
    }
    const content = await page.property("content");

    console.log(content);
    var $ = cheerio.load(content);

有什么主意吗?

1 个答案:

答案 0 :(得分:0)

我只需要将top的值增加到3000,这样就可以抓取页面的其余部分