Xpath工作在firepath但不在scrapy

时间:2016-12-30 22:46:10

标签: xpath scrapy

google finance中,我想使用命令.//*[@id='gf-viewc']/div/div[2]/form/table/tbody/child::*保存包含公司信息的表的行,但是使用firepath的xpath,即response.xpath('.//*[@id='gf-viewc']/div/div[2]/form/table/tbody/child::*').extract() yield和scrapy中的空列表。

知道为什么吗?

1 个答案:

答案 0 :(得分:2)

tbody是您应该从表达式中排除的内容 - 它是由浏览器生成以“支持表格结构”:

response.xpath(".//*[@id='gf-viewc']/div/div[2]/form/table/child::*").extract()

虽然这有效,但我会改进查找表及其行:

response.css("table.company_results tr")