使用Scrapy抓取网页

Question

我正在尝试从此页面抓取最大的表格。我在conda提示符下工作

http://www.tennisabstract.com/cgi-bin/player-classic.cgi?p=RafaelNadal&f=ACareerqq

这是我的尝试：

scrapy shell
fetch('http://www.tennisabstract.com/cgi-bin/player-classic.cgi?p=RafaelNadal&f=ACareerqq')
table = response.xpath('//table[@id="matches"]')
rows = table.xpath('//tr')

这似乎抓住了正确的表，但是我得到的行不正确；它们来自网页顶部。

我的另一个尝试是这样：

table = response.xpath('//table[@id="matches"]//tr')

但这只会返回一个空列表。

感谢您的帮助

谢谢

Answer 1

table.extract()在这里返回空表['<table id="matches"></table>']。 似乎数据正在动态加载到表中。 在这种情况下，您将需要使用Selenium或ScrapyJS来获取数据。 See the link for more info