原因

Question

我正在尝试使用Node-horseman编写一个基本的Web抓取工具，但我在 evaluate 函数中遇到了CSS选择器的一些问题。对于某些网站， evaluate 功能正常，但与其他网站一样，Node会抛出错误。

例如：

var Horseman = require('node-horseman');
var horseman = new Horseman();

function getTitle() {
  var title = $('.product-name-main h1').text();
  return {title: title};
}

horseman
  .userAgent('Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0')
  .open('http://shtoraoptom.ru/pokryvalo-nazsu-gul-abrikosovyj-240-260-sm')
  .evaluate(getTitle) 
  .then(function(title){
    console.log(title);
    return horseman.close();
  });

此代码抛出错误：

Unhandled rejection getTitle evaluate

global code evaluateJavaScript@[native code] evaluate@phantomjs://platform/webpage.js:390:39 phantomjs://code/bridge.js:121:61    at Horseman.<anonymous> (/home/ubuntu/workspace/node_modules/node-horseman/lib/actions.js:839:38)
    at Horseman.tryCatcher (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/util.js:16:23)
    at Promise._settlePromiseFromHandler (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/promise.js:502:31)
    at Promise._settlePromise (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/promise.js:559:18)
    at Promise._settlePromiseCtx (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/promise.js:596:10)
    at Async._drainQueue (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/async.js:143:12)
    at Async._drainQueues (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/async.js:148:10)
    at Immediate.Async.drainQueues [as _onImmediate] (/home/ubuntu/workspace/node_modules/node-horseman/node_modules/bluebird/js/release/async.js:17:14)
    at processImmediate [as _immediateCallback] (timers.js:383:17)

当我尝试使用相同的选择器以另一种方式重写代码时，它会正确地注销标题：

var Horseman = require('node-horseman');
var horseman = new Horseman();

function getTitle() {
  var title = $('.product-name-main h1').text();
  return {title: title};
}

horseman
  .userAgent('Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0')
  .open('http://shtoraoptom.ru/pokryvalo-nazsu-gul-abrikosovyj-240-260-sm')
  .text('.product-name-main h1')
  .then(function(title){
    console.log(title);
   return horseman.close();
  });

造成此类错误的原因是什么？

Answer 1

原因

.evaluate()方法希望客户端JavaScript函数在您正在抓取的网页中可用。

在第一个示例中定义getTitle()函数的方式意味着它将在NodeJS范围内创建，而不是在已删除的网页客户端范围内创建。

可能的修正

选项1

您可以摆脱创建getTitle()函数，但将客户端javascript代码作为.evaluate()方法的参数编写，如下所示：

.evaluate(function () { return $('.product-name h1').first().text(); })

（完整的解决方案请查看我的GitHub repo：https://github.com/omnimind/stackOverflow/blob/master/NodeJS/Controllers/37793821.js脚本方法main()）

选项2

如果您坚持创建getTitle() JavaScript函数，那么您需要在单独的JavaScript文件中创建该函数，并将其注入您正在使用这样的骑士.injectJs(file)进行抓取的网页中：

.injectJs('<external_javascript_file>').evaluate(function () { return getTitle(); })

（完整的解决方案请查看我的GitHub repo：https://github.com/omnimind/stackOverflow/blob/master/NodeJS/Controllers/37793821.js脚本方法external()）

REMARK

第二个选项允许您更好地组织代码，尤其是在您需要注入的客户端JavaScript代码因其大小而变得更加复杂和健壮的情况下。

Node-horseman未处理的拒绝评估

1 个答案:

原因

可能的修正

REMARK