用X射线刮网

时间:2016-06-01 23:57:17

标签: node.js web-crawler x-ray

我使用X射线从网站中提取一些数据但是当我使用内置功能爬到另一个页面时,它根本无法工作。

UnitPrice 是我要提取的参数,但我得到了" undefined "每时每刻。

如您所见,我传递了先前在url属性上提取的href值。

var Xray = require('x-ray');
var x = Xray();
var x = Xray({
  filters: {
    cleanPrice: function (value) {
      return typeof value === 'string' ? value.replace(/\r|\t|\n|€/g, "").trim() : value
    },
    whiteSpaces: function (value) {
      return typeof value === 'string' ? value.replace(/ +/g, ' ').trim() : value
    }
  }
});

x('https://www.simply.es/compra-online/aceite-vinagre-y-sal.html',
  '#content > ul',
  [{
    name: '.descripcionProducto | whiteSpaces',
    categoryId: 'input[name="idCategoria"]@value',
    productId: 'input[name="idProducto"]@value',
    url: 'li a@href',
    price: 'span | cleanPrice',
    image: '.miniaturaProducto@src',
    unitPrice: x('li a@href', '.precioKilo')
  }])
  .paginate('.link@href')
  .limit(1)
  // .delay(500, 1000)
  // .throttle(2, 1000)
  .write('results.json')

1 个答案:

答案 0 :(得分:0)

有拉动请求来解决这个问题。同时你可以使用只有一行代码的解决方案。见:

https://github.com/lapwinglabs/x-ray/pull/181