无法使用scrapy从Yahoo Finance网站获取当前股价

Question

每当我从下面的Yahoo Finance下运行scrapy时，我想使用spider刮擦任何公司的当前股票价值：

但是我无法使用屏幕截图所示的scrapy shell提取它。

带有红色矩形的雅虎财务屏幕截图（详细信息需要删除）：

---

scrapy shell屏幕截图：

---

如何提取这些数据？

Answer 1

如果找不到页面中应该包含的元素，建议您使用view(response)。它向您展示了如何看到页面。 在这种情况下，如果您自己使用它，则可以看到在获取的HTML中没有价格元素。我在请求中设置了普通用户代理，并且该代理正常工作

request=scrapy.Request('https://in.finance.yahoo.com/quote/ZUO/key-statistics?p=ZUO', headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'})
fetch(request)
response.xpath('//*[@id="quote-header-info"]/div[3]/div/div/span[1]').extract()

结果：

[u'<span class="Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(ib)" data-reactid="35">27.40</span>']