浏览器上的xpath和响应不同

Question

检查后在浏览器中搜索xpath时，它会显示所需的结果，但是当我使用我的响应中相同的xpath时，它应该为空列表。

因此，当在浏览器中找到一个元素时，我会显示令人满意的元素的数量，例如参见图片。

现在，当我在scrapy shell的响应中运行相同的xpath时，即使响应状态为200，我也会得到一个空列表。这可能是什么原因造成的？

Answer 1

您的浏览器呈现 Javascript 代码，这导致HTML代码的更改。因此，在这种情况下，您需要对 Scrapy 中的请求使用Javascript引擎。请查看scrapy-splash来呈现JS并获得与浏览器相同的结果。

Answer 2

如果您使用的是chrome浏览器，那么从请求中获取或抓取时某些标记会有所不同。

像chrome一样会自动添加到html中。