如何找到要剪贴的数据表的原始数据源?

时间:2018-07-17 16:49:25

标签: xpath web-scraping scrapy scrapy-spider

我要废弃以下网站:http://databank.worldbank.org/data/reports.aspx?source=2&series=AG.LND.AGRI.K2&country=

以下代码可以完美运行,但只能删除第一个国家(直到古巴):

for tr in response.xpath('//*[@id="grdTableView_DXMainTable"]/tr'):
            item = ESGIndicators()
            item['country'] = tr.xpath('td[1]/text()').extract_first()
            item['data1'] = tr.xpath('td[2]/text()').extract()
            item['data2'] = tr.xpath('td[3]/text()').extract()
            item['data3'] = tr.xpath('td[4]/text()').extract()
            item['data4'] = tr.xpath('td[5]/text()').extract()
            item['data5'] = tr.xpath('td[6]/text()').extract()
            item['data6'] = tr.xpath('td[7]/text()').extract()
            item['data7'] = tr.xpath('td[8]/text()').extract()
            item['data8'] = tr.xpath('td[9]/text()').extract()
            item['data9'] = tr.xpath('td[10]/text()').extract()
            item['data10'] = tr.xpath('td[11]/text()').extract()
            print(item)
            yield item

我认为问题是网站从另一个原始来源加载了数据。但是,当我检查代码时,在XHR标记中找不到该源。有谁知道我在哪里可以找到原始资源的用户信息?

提前谢谢!

0 个答案:

没有答案