Xpath在浏览器控制台中运行完美，但在Python Scrapy中返回NULL

Question

我正在尝试刮擦：

https://www.example.com

当我在浏览器控制台中尝试Xpath时：

> $x('//div[@id="uat-dropdown-container-dosage"]/div/span/text()')[0]
> "200 mg"

但是当我尝试相同的方法时：

response.xpath('//div[@id="uat-dropdown-container-dosage"]/div/span/text()')

如果我尝试这样做，它什么也不会返回：

response.xpath('//div[@id="uat-dropdown-container-dosage"]/div/span/text()')[0]
List Index out of range Error!

我不明白为什么它不起作用？

Answer 1

请使用ctrl / cmd + U打开start_urls的源，您可能找不到这些类，这将导致空响应，因此您将无法获得所需的结果。请分享该网站的URL，以便我看看。