在页面内部循环。在Puppeteer中进行评估

时间:2019-09-03 06:33:57

标签: javascript puppeteer

我在page.evaluate方法内有一个循环。该循环迭代查询选择器,该选择器从页面中文本元素的多个实例中捕获一个innerText。

我收到错误评估失败:无法读取'innerText'的属性

我试图在page.evaluate之外循环,但是无法从page.evaluate函数内部访问我的迭代变量。

//这是我要实现的目标的粗略草稿:

    const scrapeData = [];
    const data = await page.evaluate(() => {

    // Iteration to capture each target text in the page  
    for (var i = 1; i < 9; i++) {

        // Select target text 
        const serpDesc = document
        .querySelector(
          `#rso > div:nth-child(4) > div > div:nth-child(${i}) > div > div > div.s > div > span`
        )
        .innerText.trim();

      // Build an array for the captured text
      scrapeData[i] = serpDesc

      return {
        serpDesc
      };
    };
  });

我的目标是将页面中的某些链接描述(纯文本)抓取到数组中。没有迭代代码,一切都会很好。

1 个答案:

答案 0 :(得分:0)

尝试:

const serpDesc = await page.evaluate(
  () => [...document.querySelectorAll(`#rso > div:nth-child(4) > div > div:nth-child(${i}) > div > div > div.s > div > span`)].map(elem => elem.innerText)
);

您可能需要稍微重构选择器,或者将serpDesc函数包装在for offorEach循环中。

您也可以尝试类似

async function elSelector(i) {
            //Where i is the incremented value you pass
            
            await page.evaluate((i) => {
            
                let eval = $('yourSelector').toArray();
                $(eval[i]).innerText
            }, i)

        }
        
for (i=0; i<9; i++) {
  elSelector(i);
  }