如何从站点获取所有页面数据并保存?

时间:2019-01-04 11:51:25

标签: python pandas

我在页面中有数据货币成本。我想将所有数据从2000.01.01下载到2018.12.01。在页面中,我可以下载或获取一天的数据,但我希望在整个期间或一年内将其保存到csv文件中。我怎样才能做到这一点?

我尝试获取一个日期并将其保存到csv。并且还尝试使用urllib解析它,但也无法获取我需要的所有数据。

import pandas as pd
data = pd.read_html('http://www.nbt.tj/ru/kurs/kurs.php?date=01.02.2016')
data = data[2]
data.to_csv('currencies.csv', index=False)

1 个答案:

答案 0 :(得分:1)

以自定义格式创建日期范围,循环,获取DataFrame并使用附加模式分别写入每个DataFrame,在这种情况下,必须删除标头并仅为第一个DataFrame写入:

dates = pd.date_range('2010-01-01', '2018-12-01').strftime('%d.%m.%Y')

for i, x in enumerate(dates):
    data = pd.read_html('http://www.nbt.tj/ru/kurs/kurs.php?date={}'.format(x))[2]
    if i == 0:
        data.to_csv('currencies.csv', index=False)
    else:
        data.to_csv('currencies.csv', index=False, mode='a', header=None)