Question

我每天为大量股票和ETF提取历史数据。 Quandl对美国股票有很好的免费报道，但他们没有ETF的历史数据，因此我使用Google API作为Quandl的备份。

最近的Google财经“翻新”并没有给我留下一个很好的选择，所以我试图将Brad Solomon的作品（感谢Brad，链接如下）应用于列表符号。假设没有给出他正在创建URL的循环，则不太可能。欢迎任何聪明的想法。

相关问题：How come pandas_datareader for google doesn't work?

感谢。

Answer 1

在幕后，pandas-datareader循环遍历您传递的每个符号并逐个发出http请求。

这是在基类中执行该功能的功能，与google和yahoo相关的类继承该功能：base._DailyBaseReader._dl_mult_symbols。

神奇的是，这些会被附加到列表中，然后汇总到一个pandas Panel中。

但是，我会注意到，Panel已被弃用，您可以在具有MultiIndex的DataFrame中获得相同的功能，这种结构在技术上是二维的，但在实践中复制了更高的维度。

所以，下面是你能做什么的准系统。 请注意我正在跳过软件包本身嵌入的大量功能，例如parsing string dates to datetime。

import datetime
from io import StringIO

import requests
from pandas.io.common import urlencode
import pandas as pd

BASE = 'http://finance.google.com/finance/historical'


def get_params(sym, start, end):
    params = {
        'q': sym,
        'startdate': start.strftime('%Y/%m/%d'),
        'enddate': end.strftime('%Y/%m/%d'),
        'output': "csv"
    }
    return params


def build_url(sym, start, end):
    params = get_params(sym, start, end)
    return BASE + '?' + urlencode(params)


def get_one_data(sym, start=None, end=None):
    if not start:
        start = datetime.datetime(2010, 1, 1)
    if not end:
        end = datetime.datetime.today()
    url = build_url(sym, start, end)
    data = requests.get(url).text
    return pd.read_csv(StringIO(data), index_col='Date',
                       parse_dates=True).sort_index()


def get_multiple(sym, start=None, end=None, return_type='Panel'):
    if isinstance(sym, str):
        return get_one_data(sym, start=start, end=end)
    elif isinstance(sym, (list, tuple, set)):
        res = {}
        for s in sym:
            res[s] = get_one_data(s, start, end)
        # The actual module also implements a 'passed' and 'failed'
        #     check here and also using chunking to get around
        #     data retreival limits (I believe)

    if return_type.lower() == 'panel':
        return pd.Panel(res).swapaxes('items', 'minor')
    elif return_type.lower() == 'mi':  # MultiIndex DataFrame
        return pd.concat((res), axis=1)

一个例子：

syms = ['AAPL', 'GE']
data = get_multiple(syms, return_type='mi')

# Here's how you would filter down to Close prices
#   on MultiIndex columns
data.xs('Close', axis=1, level=1) 

              AAPL     GE
Date                     
2010-01-04   30.57  15.45
2010-01-05   30.63  15.53
2010-01-06   30.14  15.45
2010-01-07   30.08  16.25
2010-01-08   30.28  16.60
...

Pandas DataReader解决了Google财务问题

1 个答案: