Question

我正在尝试使用tr，br和iframe构建一个旧网站。到目前为止，在我开始想要从iframe中提取数据之前，一切都很顺利，请参阅iFrameScraping setTimeout，但点击速度太快，我无法获取数据。有没有人知道如何点击，等待内容显示和被删除，然后继续？

  const newResult = await page.evaluate(async(resultLength) => {
    const elements = document.getElementsByClassName('class');

    for(i = 0; i < resultLength; i++) {
      const companyArray = elements[i].innerHTML.split('<br>');
      let companyStreet,
          companyPostalCode;

      // Get company name
      const memberNumber = elements[i].getElementsByTagName('a')[0].getAttribute('href').match(/[0-9]{1,5}/)[0];
      const companyName = await companyArray[0].replace(/<a[^>]*><span[^>]*><\/span>/, '').replace(/<\/a>/, '');
      const companyNumber = await companyArray[0].match(/[0-9]{6,8}/) ? companyArray[0].match(/[0-9]{6,8}/)[0] : '';

      // Get town name
      const companyTown = await companyArray[1].replace('"', '');

      // Get region name
      const companyRegion = await companyArray[2].replace(/<span[^>]*>Some text:<\/span>/, '');

      // Get phone number
      const telNumber = await elements[i].innerHTML.substring(elements[i].innerHTML.lastIndexOf('</span>')).replace('</span>', '').replace('<br>', '');


      const iFrameScraping = await setTimeout(async({elements, i}) => {
        elements[i].getElementsByTagName('a')[0].click();
        const iFrameContent = await document.getElementById('some-id').contentWindow.document.getElementById('lblAdresse').innerHTML.split('<br>');
        companyStreet = iFrameContent[0].replace('"', '');
        companyPostalCode = iFrameContent[2].replace('"', '');
      }, 2000, {elements, i});

      console.log(companyStreet, companyPostalCode)
    };
  }, pageSearchResults.length);

Answer 1

我在一段时间后修复了我的问题，所以我会分享我的解决方案。

我添加停止从评估循环获取所有数据，因为它会快速创建竞争条件。相反，我使用了page。$$的组合，以及for循环。请注意，es6中的forEach也会导致竞争条件，因为puppeteer不会等待它们结束继续执行。

以下是我更新的代码中的示例：

 const companies = await page.$$('.repmbr_result_item');
  const companiesLinks = await page.$$('.repmbr_result_item a');

  for(company of companies) {
    const companyEl = await page.evaluate(el => el.innerHTML, company)
    const companyElArray = companyEl.split('<br>');

等待打开和刮擦iframe的速度太慢，无法刮擦js

1 个答案: