Python Scrapy无法解析所有项目

Question

我正在尝试为电子商务网站构建一个简单的scrapy搜寻器。

它遵循链接，似乎通过XPath找到所有需要的元素。但是，出于某种原因，它只解析了1200个项而不是1531个，就像它有一些限制一样。 我尝试切换选择器，甚至模拟selenium下一页上的点击，但没有成功。

以下是完整的抓取工具代码：

var inter = function(){
  var x= setInterval(function(){
                draw();
                b_ctx.globalCompositeOperation="copy";
                b_ctx.fillStyle = "purple";
                b_ctx.beginPath();
                b_ctx.arc(xcoord, y, 45, 0, Math.PI*2, true);
                b_ctx.fill();
                y+=1;
                if(y>endY) clearInterval(x)}, 25);
}
inter();

感谢任何帮助。提前谢谢。

Answer 1

我认为你的蜘蛛不是问题 - 而是计算产品数量。 您可以在页面中看到产品列表：

某些产品有一些组合，但列表中有1个链接。 等等：