Scraperjs与页面的交互

Question

有人使用https://github.com/ruipgil/scraperjs来抓取网页吗？ 我无法理解如何与页面进行交互？如何获得谷歌搜索结果。这应该作为scrape（）或之前的函数来完成？

Answer 1

您应该查看cheerio API。 Scraperjs使用它进行解析。您可以在这里澄清您希望从特定页面获得什么，我将为您提供示例代码。

以下是从Google查询中获取网址的代码

var scraperjs = require('scraperjs')

scraperjs.StaticScraper
  .create('https://www.google.ru/search?q=scraperjs')
  .scrape(function($) {
    return $('li.g').map(function() {
      return $(this).find('a').first().attr('href')
    }).get();
  }, function(news) {
    news.forEach(function(elm) {
      console.log(elm);
    });
  });

〜