Scrapy-响应正文包含JavaScript,并且无法XPath选择

时间:2018-08-30 16:54:01

标签: python scrapy screen-scraping

所以我在抓取此页面时遇到问题

https://www.tribeofdumo.com/nefertiti-infinity-dress

响应正文中有一些JavaScript,我无法xpath选择该页面上列出的单个产品。我基本上是在尝试选择li.gallery-item,我只能在执行检查元素时查看,而不能查看源代码。

如果您在该页面上执行的视图源与response.body差不多。另外,我猜想也许scrapy不能渲染javascript,所以我安装了Splash并尝试渲染页面,但是即使在启动时,我也得到了相同的输出,并且屏幕截图甚至没有显示产品。

0 个答案:

没有答案