Question

我正在将Puppeteer用于网络抓取应用程序。 Page.evaluate函数返回空值。但是，浏览器控制台中的相同功能会返回正确的值。

const puppeteer = require('puppeteer');
let scrape = async () => {
  const browser = await puppeteer.launch({headless:false});
  const page = await browser.newPage();
  var ticker = 'DIS';
  var my_url = 'https://seekingalpha.com/symbol/'  + ticker + '/momentum/moving-averages'; 
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0');
  await page.goto(my_url);


  page.on('console', msg => console.log('PAGE LOG:', msg.text()));
  const result = await page.evaluate(() => {
    const elements = Array.from(document.querySelectorAll('table tr td'));
    let links = elements.map(element => {
        return element.href
    })
    console.log(links, 'inside page.evaluate');
    return links;
  });
    browser.close();
    return result;
};  


scrape().then((value) => {
  console.log(value); // Success!

获得以下结果。...

PAGE LOG: JSHandle@array inside page.evaluate
[ null, null, null, null, null, null, null, null, null, null ]

在浏览器控制台中，我得到了...

document.querySelectorAll('table tr td')
NodeList(10) [ td.left.left-text, td.middle.center-text, td.middle.center-text, td.middle.center-text, td.right.center-text, td.left.left-text, td.middle.center-text.red, td.middle.center-text.green, td.middle.center-text.green, td.right.center-text.green ]

不胜感激...

在Thomas的建议下，我能够进行以下调整，并且现在可以使用...

sma[0] = await page.$eval('table tr:nth-child(2) td:nth-child(2)', el => {return el.innerHTML });
  sma[1] = await page.$eval('table tr:nth-child(2) td:nth-child(3)', el => {return el.innerHTML });
  sma[2] = await page.$eval('table tr:nth-child(2) td:nth-child(4)', el => {return el.innerHTML });
  sma[3] = await page.$eval('table tr:nth-child(2) td:nth-child(5)', el => {return el.innerHTML });

Answer 1

您的console.log(links, 'inside page.evaluate')在浏览器运行时内部执行。从浏览器记录或发送到Node.js环境的任何数据都需要可序列化（请参见docs），而DOM元素则不是这种情况。因此，改为显示null。

要查询元素，可以使用函数page.$$(selector)。示例：

const tds = await page.$$('table tr td');

浏览器中的代码运行正常。我认为您的实际问题是您的代码正在查询td元素，然后尝试将td元素映射到它们的href值。我假设您可能想遍历a个元素。因此，您的选择器应该改为'table tr td a'。

page.evaluate返回空值，但浏览器控制台返回正确值

1 个答案: