所以我在抓取此页面时遇到问题
https://www.tribeofdumo.com/nefertiti-infinity-dress。
响应正文中有一些JavaScript,我无法xpath
选择该页面上列出的单个产品。我基本上是在尝试选择li.gallery-item
,我只能在执行检查元素时查看,而不能查看源代码。
如果您在该页面上执行的视图源与response.body差不多。另外,我猜想也许scrapy不能渲染javascript,所以我安装了Splash并尝试渲染页面,但是即使在启动时,我也得到了相同的输出,并且屏幕截图甚至没有显示产品。