我要废弃以下网站:http://databank.worldbank.org/data/reports.aspx?source=2&series=AG.LND.AGRI.K2&country=
以下代码可以完美运行,但只能删除第一个国家(直到古巴):
for tr in response.xpath('//*[@id="grdTableView_DXMainTable"]/tr'):
item = ESGIndicators()
item['country'] = tr.xpath('td[1]/text()').extract_first()
item['data1'] = tr.xpath('td[2]/text()').extract()
item['data2'] = tr.xpath('td[3]/text()').extract()
item['data3'] = tr.xpath('td[4]/text()').extract()
item['data4'] = tr.xpath('td[5]/text()').extract()
item['data5'] = tr.xpath('td[6]/text()').extract()
item['data6'] = tr.xpath('td[7]/text()').extract()
item['data7'] = tr.xpath('td[8]/text()').extract()
item['data8'] = tr.xpath('td[9]/text()').extract()
item['data9'] = tr.xpath('td[10]/text()').extract()
item['data10'] = tr.xpath('td[11]/text()').extract()
print(item)
yield item
我认为问题是网站从另一个原始来源加载了数据。但是,当我检查代码时,在XHR标记中找不到该源。有谁知道我在哪里可以找到原始资源的用户信息?
提前谢谢!