在Pandas数据框中过滤最接近月末的可用日期

时间:2016-12-10 13:55:29

标签: python date datetime pandas

使用python和pandas我试图从雅虎财经下载安全价格数据,目的是以时间序列结束月末调整后的价格。

我的代码如下所示。我使用ix过滤数据帧以生成业务月末日期列表。这适用于时间序列中除了2个日期以外的所有日期,其中2010年5月31日和2013年3月29日都显示为空白,我认为这是因为这些是美国的联邦假日。

有可能创建一个只查找月末日期的自定义频率或日历,而不是沿着试图创建交易日日历的路线,如果它不可用,则检查以前的日期直到找到一个值?例如,2013年3月31日没有数据,因此检查3月30日(无数据),3月29日(无数据),3月28日(数据) - > 3月28日系列展示。

import io
import requests
from datetime import datetime
import pandas

ticker = 'SPY'
start_date = '2009-12-31'
end_date = '2016-12-08'
s_dt = datetime.strptime(start_date, '%Y-%m-%d')
e_dt = datetime.strptime(end_date, '%Y-%m-%d')

url = 'http://chart.finance.yahoo.com/table.csv?s={0}&a={1}&b={2}&c={3}&d={4}&e={5}&f={6}&g=d&ignore=.csv'
url = url.format(ticker, s_dt.month-1, s_dt.day, s_dt.year, e_dt.month-1, e_dt.day, e_dt.year)
data = requests.get(url).content

df = pandas.read_csv(io.StringIO(data.decode('utf-8')))
df.drop('Open', 1, inplace=True)
df.drop('High', 1, inplace=True)
df.drop('Low', 1, inplace=True)
df.drop('Volume', 1, inplace=True)
df.drop('Close', 1, inplace=True)
df.columns = ['date', ticker]

df['date'] = pandas.to_datetime(df['date'], format='%Y-%m-%d')    
df = df.set_index('date')
df = df.ix[pandas.date_range(start=start_date, end=end_date, freq='BM')]

2 个答案:

答案 0 :(得分:1)

我想通过使用fillna方法实现我想要的方式。

原始代码的最后一行应替换为:

# expand series to add all dates in date range
df = df.ix[pandas.date_range(start=start_date, end=end_date, freq='d')]
# fill in the NaN values with the last available value
df = df.fillna(method='pad')
# reduce series to just business month-end dates
df = df.ix[pandas.date_range(start=start_date, end=end_date, freq='BM')]

答案 1 :(得分:0)

您可以使用pandas_datareaderpip install获取所有原始每日数据(如果您还没有)

然后你会做

from pandas_datareader.data import DataReader
df = DataReader('SPY', 'yahoo', '2009-12-31', '2016-12-08') 

您可以跳过后期处理步骤直接获取月度数据,但是这个界面有点挑剔,您可以这样做:

from pandas_datareader.yahoo.daily import YahooDailyReader 
df_monthly = YahooDailyReader('SPY', '2009-12-31', '2016-12-08', interval='m').read()