隔离/操纵pandas Dataframe中的数据

时间:2016-04-04 20:33:14

标签: python pandas dataframe yahoo

使用pandas数据框我能够从yahoo finance访问股票数据。我设法按月组织它,因为我试图查看股票在一个月内如何在多年期间表现。具体而言,某个月内某个月的价格会有多少次上涨(如果12月份的价格总是上涨,我希望看到%和出现次数)。我目前正在使用一种股票' MSFT'测试,但理想情况下它会分析更多。我的问题:为了这个目的,我似乎无法访问数据框中的数据。

以下是代码:

from datetime import datetime
import pandas_datareader.data as web
import pandas as pd
from pandas.tseries.offsets import CustomBusinessMonthBegin

input_file = ['MSFT'] 
money_list = []

for ticker in input_file:

    data = web.DataReader(ticker, "yahoo", datetime(2014,1,1), datetime(2015,12,31))

    monthly_data = data.index.to_period('M')
    min_day_in_month_index = pd.to_datetime(data.set_index(monthly_data, append=True).reset_index(level=0).groupby(level=0)['Open'].min())
    custom_month_starts = CustomBusinessMonthBegin(calendar = min_day_in_month_index)

    site_dict = {'Open':'first','High':'max','Low':'min','Close': 'last','Volume': 'sum','Adj Close': 'last'}
    mthly_results = data.resample(custom_month_starts, how=site_dict)

    month = { 0:'JAN', 1:'FEB', 2:'MAR', 3:'APR', 4:'MAY',5:'JUN', 6:'JUL', 7:'AUG', 8:'SEP', 9:'OCT',10:'NOV', 11:'DEC' }

    print mthly_results

1 个答案:

答案 0 :(得分:1)

您问题的第一部分可以大大简化。 (您的代码过于复杂)。

首先,您会找到每个月的最低要求。 然后您加入到原始数据集中。 您现在有最小值发生的那天以及其他列。

你问题的第二部分比较棘手。要找到增加和减少的百分比,你需要更多的机器。

我添加了一个类来跟踪给定月份的增加和减少。 然后我迭代所有的最小值并找到每个月的百分比变化。 然后在一个漂亮的dataFrame中打印它。

from datetime import datetime
import pandas.io.data as web
import pandas as pd

class MonthlyChange(object):
    months = { 0:'JAN', 1:'FEB', 2:'MAR', 3:'APR', 4:'MAY',5:'JUN', 6:'JUL', 7:'AUG', 8:'SEP', 9:'OCT',10:'NOV', 11:'DEC' }

    def __init__(self,month):
        self.month = MonthlyChange.months[month-1]
        self.sum_of_pos_changes=0
        self.sum_of_neg_changes=0
        self.total_neg=0
        self.total_pos=0
    def add_change(self,change):
        if change < 0:
            self.sum_of_neg_changes+=change
            self.total_neg+=1
        elif change > 0:
            self.sum_of_pos_changes+=change
            self.total_pos+=1
    def get_data(self):
        if self.total_pos == 0:
            return (self.month,0.0,0,self.sum_of_neg_changes/self.total_neg,self.total_neg)
        elif self.total_neg == 0:
            return (self.month,self.sum_of_pos_changes/self.total_pos,self.total_pos,0.0,0)
        else:
            return (self.month,self.sum_of_pos_changes/self.total_pos,self.total_pos,self.sum_of_neg_changes/self.total_neg,self.total_neg)


for ticker in ['MSFT'] :

    data = web.DataReader(ticker, "yahoo", datetime(2014,1,1), datetime(2015,12,31))
    data['ymd'] = data.index
    year_month = data.index.to_period('M')
    data['year_month'] = year_month
    first_day_of_months = data.groupby(["year_month"])["ymd"].min()
    first_day_of_months = first_day_of_months.to_frame().reset_index(level=0)
    last_day_of_months = data.groupby(["year_month"])["ymd"].max()
    last_day_of_months = last_day_of_months.to_frame().reset_index(level=0)
    fday_open = data.merge(first_day_of_months,on=['ymd'])
    fday_open = fday_open[['year_month_x','Open']]
    lday_open = data.merge(last_day_of_months,on=['ymd'])
    lday_open = lday_open[['year_month_x','Open']]

    fday_lday = fday_open.merge(lday_open,on=['year_month_x'])
    monthly_changes = {i:MonthlyChange(i) for i in range(1,13)}
    for index,ym, openf,openl in fday_lday.itertuples():
        month = ym.strftime('%m')
        month = int(month)
        diff = (openf-openl)/openf
        monthly_changes[month].add_change(diff)
    changes_df = pd.DataFrame([monthly_changes[i].get_data() for i in monthly_changes],columns=["Month","Avg Inc.","#Inc","Avg.Dec","#Dec"])
    print(changes_df)

<强>解释

代码首先从网上获取数据。

data = web.DataReader(ticker, "yahoo", datetime(2014,1,1), datetime(2015,12,31))

数据看起来像这样。

日期,开盘价,最高价,最低价,收盘价,交易量,收盘价

2014-10-29,46.43,46.70,46.34,46.61,3027610,44.77

然后它会得到表格中每一行的年份和月份。

year_month = data.index.to_period('M')

然后它在表格中添加一个仅包含年份和月份的新列。

data["year_month"] = year_month

数据现在看起来像这样

Date,Open,year_month,...(列的其余部分)

2015-03-11,42.31,2015-03 ......

接下来,我们将对year_month列进行分组。然后我们在每个月的Open列中找到最小值。 我们需要做一个groupby,因为需要将一个月中的所有日子收集到一个组中,以便我们可以获取最小值。

monthly_mins = data.groupby(["year_month"])["Open"].min()

现在我们将所有月度最低费用都放在一个表格中。我们知道发生最低限度的那一天。 但我们不知道所有其他专栏是什么。 所以我们将其加入主表中,我们只获得每月最低数量。

month_min_open_df = data.merge(monthly_mins,on=["year_month","Open"])