Question

我使用nightmare.js来抓取公共记录，我只是想让刮刀等待下一页加载。我正在抓取搜索结果，我按下下一个按钮（显然）到达下一页。我无法使用nightmare.wait(someConstTime)准确等待下一页加载，因为有时someConstTime比下一页加载所需的时间短（尽管它总是在30秒）。我也不能使用nightmare.wait(selector)，因为所有结果页面上始终存在相同的选择器。在那种情况下，梦魇基本上根本不会等待，因为选择器已经存在（在我已经刮过的页面上）所以除非在下一个循环之前加载新页面，否则它将继续多次刮擦同一页面。 / p>

点击 next 按钮后，如何有条件地等待下一页加载？

如果我能弄明白 - 我会比较＆＃34;显示＃到## ##条目＆＃34;当前页面的指示符（currentPageStatus）到最后的已知值（lastPageStatus）并等到它们不同（因此加载下一页）。

（忽略示例图片只有一个搜索结果页面）

我使用https://stackoverflow.com/a/36734481/3491991中的代码执行此操作，但这需要将lastPageStatus传递到deferredWait（我无法弄清楚）。

这是我到目前为止所获得的代码：

// Load dependencies
//const { csvFormat } = require('d3-dsv');
const Nightmare = require('nightmare');
const fs = require('fs');
var vo = require('vo');

const START = 'http://propertytax.peoriacounty.org';
var parcelPrefixes = ["01","02","03","04","05","06","07","08","09","10",
                      "11","12","13","14","15","16","17","18","19"]

vo(main)(function(err, result) {
  if (err) throw err;
});

function* main() {
  var nightmare = Nightmare(),
    currentPage = 0;
    // Go to Peoria Tax Records Search
    try {
      yield nightmare
        .goto(START)
        .wait('input[name="property_key"]')
        .insert('input[name="property_key"]', parcelPrefixes[0])
        // Click search button (#btn btn-success)
        .click('.btn.btn-success')
    } catch(e) {
      console.error(e)
    }
    // Get parcel numbers ten at a time
    try {
      yield nightmare
        .wait('.sorting_1')
        isLastPage = yield nightmare.visible('.paginate_button.next.disabled')
        while (!isLastPage) {
          console.log('The current page should be: ', currentPage); // Display page status
          try {
            const result = yield nightmare
              .evaluate(() => {
                return [...document.querySelectorAll('.sorting_1')]
                  .map(el => el.innerText);
              })
              // Save property numbers
              // fs.appendFile('parcels.txt', result, (err) => {
              //   if (err) throw err;
              //   console.log('The "data to append" was appended to file!');
              // });
          } catch(e) {
            console.error(e);
            return undefined;
          }
          yield nightmare
            // Click next page button
            .click('.paginate_button.next')
            // ************* THIS IS WHERE I NEED HELP *************** BEGIN
            // Wait for next page to load before continue while loop
            try {
              const currentPageStatus = yield nightmare
                .evaluate(() => {
                  return document.querySelector('.dataTables_info').innerText;
                })
              console.log(currentPageStatus);
            } catch(e) {
              console.error(e);
              return undefined;
            }
            // ************* THIS IS WHERE I NEED HELP *************** END
          currentPage++;
          isLastPage = yield nightmare.visible('.paginate_button.next.disabled')
        }
    } catch(e) {
      console.error(e)
    }
  yield nightmare.end();
}

Answer 1

我有一个类似的问题，我设法修复。基本上我必须导航到搜索页面，选择每页100个＆＃39;选项然后等待刷新。唯一的问题是，关于手动等待时间是否允许AJAX触发并重新填充超过10个结果（默认值），这是一个简单的事实。

我最终这样做了：

nightmare
.goto(url)
.wait('input.button.primary')
.click('input.button.primary')
.wait('#searchresults')
.select('#resultsPerPage',"100")
.click('input.button.primary')
.wait('.searchresult:nth-child(11)')
.evaluate(function() {
    ...
}
.end()

有了这个，评估不会被激发，直到它检测到至少11个具有.searchresult类的div。鉴于默认值为10，它必须等待重新加载才能完成此操作。

您可以对此进行扩展以从第一页获取可用结果的总数，以确保在我的情况下有超过10个可用结果。但这个概念的基础是有效的。

Answer 2

根据我的理解，基本上你需要在开始从正在加载的页面中提取之前完成DOM更改。

在您的情况下，DOM更改的元素是带有CSS选择器的表：'＃search-results'

我认为MutationObserver就是您所需要的。

我使用了Mutation Summary库，它为MutationObservers的原始功能提供了一个很好的包装器，以实现类似的东西

var observer = new MutationSummary({
  callback: updateWidgets,
  queries: [{
    element: '[data-widget]'
  }]
});

：来自Tutorial

首先在加载搜索结果时注册MutationSummary观察者。

然后，在单击“下一步”后，使用nightmare.evaluate等待mutationSummary回调返回提取的值。

单击链接后，让Nightmare等待下一页加载

2 个答案: