Question

我想自动从世界银行dataset下载CSV文件。

我的问题是，与特定数据集相对应的网址并不直接指向所需的CSV文件，而是查询世界银行的API。例如，这是获取人均GDP数据的URL：http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv。

如果您在浏览器中粘贴此URL，它将自动开始下载相应的文件。因此，我通常用于在Python中收集和保存CSV文件的代码在当前情况下不起作用：

baseUrl = "http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv"
remoteCSV = urllib2.urlopen("%s" %(baseUrl))
myData = csv.reader(remoteCSV)

如何修改我的代码以便将来自查询的文件下载到API？

Answer 1

这将获得下载的zip，打开它并为您提供所需文件的csv对象。

import urllib2
import StringIO
from zipfile import ZipFile
import csv

baseUrl = "http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv"
remoteCSV = urllib2.urlopen(baseUrl)

sio = StringIO.StringIO()
sio.write(remoteCSV.read())
    # We create a StringIO object so that we can work on the results of the request (a string) as though it is a file.

z = ZipFile(sio, 'r')
    # We now create a ZipFile object pointed to by 'z' and we can do a few things here:

print z.namelist()
    # A list with the names of all the files in the zip you just downloaded
    # We can use z.namelist()[1] to refer to 'ny.gdp.pcap.cd_Indicator_en_csv_v2.csv'

with z.open(z.namelist()[1]) as f:
# Opens the 2nd file in the zip
    csvr = csv.reader(f)
    for row in csvr:
        print row

有关详细信息，请参阅ZipFile Docs和StringIO Docs

Answer 2

import os
import urllib
import zipfile
from StringIO import StringIO

package = StringIO(urllib.urlopen("http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv").read())
zip = zipfile.ZipFile(package, 'r')
pwd = os.path.abspath(os.curdir)

for filename in zip.namelist():
    csv = os.path.join(pwd, filename)
    with open(csv, 'w') as fp:
        fp.write(zip.read(filename))
    print filename, 'downloaded successfully'

从这里，您可以使用您的方法处理CSV文件。

Answer 3

我们有一个脚本可以自动化世界银行世界发展指标的访问和数据提取，例如：https://data.worldbank.org/indicator/GC.DOD.TOTL.GD.ZS

该脚本执行以下操作：

下载元数据数据
提取元数据和数据
转换为Data Package

该脚本基于python并使用python 3.0。它没有标准库之外的依赖项。试试吧：

python scripts/get.py

python scripts/get.py https://data.worldbank.org/indicator/GC.DOD.TOTL.GD.ZS

您还可以阅读我们对世界银行数据的分析：

https://datahub.io/awesome/world-bank

Answer 4

只是一个建议而非解决方案。您可以使用pd.read_csv直接从URL读取任何csv文件。

import pandas as pd
data = pd.read_csv('http://url_to_the_csv_file')

如何从世界银行的数据集下载CSV文件

4 个答案: