骑士 - 点击多个按钮然后抓取数据 - 如何?

时间:2017-10-11 22:23:25

标签: node.js web-scraping promise node-horseman

我想解析一个可以有任意数量按钮的网页。我想点击所有按钮并从每个按钮中获取一些结果数据。我不知道该怎么做。到目前为止,我的马人代码:

display:inline

所以我在btns数组中有所有代理商代码。现在我需要通过所有按钮排序 - 就像这个伪代码:

horse
 .on('resourceError', function(err) {
   console.dir(err);
   horse.close();
})
.userAgent('Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0')
.open('https://www.example.com')
.click('#agree')
.click('input[class="button"]')
.waitForSelector('#address')
.type('#address', 'blah blah')
.click('#button-search-address')
.wait(3000)
.evaluate(function() {
  var btns=[];
  $('[data-agency-code]').each(function(i) {
    btns.push({dac: $(this).attr('data-agency-code')});
  });
  return btns;
})
.then(?????) 

无法找出骑手代码来执行此循环。 THX。

1 个答案:

答案 0 :(得分:1)

在Horseman Github页面上的问题#85中使用它。

以下是遍历页面上所有按钮的代码:

horse
  .on('resourceError', function(err) {
    console.dir(err);
    horse.close();
  })
  .userAgent('Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0')
  .open('https://www.example.com')
  .click('#agree')
  .click('input[class="button"]')
  .waitForSelector('#address')
  .type('#address', 'blah blah')
  .click('#button-search-address')
  .wait(3000)
  .evaluate(function() {
    var btns=[];
    $('[data-agency-code]').each(function(i) {
      btns.push({dac: $(this).attr('data-agency-code')});
    });
    return btns;
  })
  .then(function(btns) {
    if (btns.length == 0)
      horse.close();
    console.log(btns);
    var chain = horse;
    for(var i=0; i < btns.length; i++) {
      chain = chain
        .click('[data-agency-code='+btns[i].dac+']')
        .wait(2000)
        .evaluate(function() {
           return {
             name: $('some selector').text().trim(),
             email: $('some selector').text(),
             www: $('some selector').text() 
           }
         })
         .then(function(aobj) {
           agya.push(aobj);
         })
    }
    return chain;
  })
  .then(function(chain) {
    console.log(agya);
  })
  .close();

现在我在agya数组中拥有所有代理商和信息。