Scrapy爬行问题

时间:2015-11-21 00:04:59

标签: python-2.7 xpath web-crawler scrapy ipython

我正在尝试从维基百科中抓取但结果却没有返回任何内容。  我尝试在IPython控制台中运行简单查询,并检查一个值,但仍然没有返回任何值。

我试过这个:

sel.xpath('//div[@id="mw-content-text"]/table/tbody/tr[1]/td[1]/text()').extract()

1 个答案:

答案 0 :(得分:0)

这将是一个猜测,但是受过教育的人。 tbody是浏览器插入的内容,您在浏览器开发者工具中看到的内容。但是,Scrapy不是浏览器 - 从xpath表达式删除tbody

sel.xpath('//div[@id="mw-content-text"]/table/tr[1]/td[1]/text()').extract()