如何使用pandas groupby并应用lambda来评估布尔条件

时间:2017-06-18 21:39:12

标签: lambda apply multi-index pandas-groupby

我一直在使用股票数据教自己python,但我一直坚持这个问题。我试图找出移动平均线交叉点。我正在使用pandas MultiIndex DataFrame中的每日数据。以下是我正在使用的数据结构的片段。

import pandas as pd
import numpy as np

data = {'date': pd.Series(['2016-1-4', '2016-1-4', '2016-1-4', 
                           '2016-1-5', '2016-1-5', '2016-1-5', 
                           '2016-1-6', '2016-1-6', '2016-1-6']),
        'ticker': pd.Series(['NYMX', 'EVAR', 'PMV', 
                             'NYMX', 'EVAR', 'PMV', 
                             'NYMX', 'EVAR', 'PMV']),
        'twohundredsma': pd.Series([2.3, 3.58, 0.458, 
                                    2.31, 3.56, 0.459, 
                                    2.32, 3.55, 0.46]),
        'fiveema': pd.Series([2.33, 1.31, 0.54, 
                              2.33, 1.28, 0.54, 
                              2.3, 1.25, 0.54])}

df = pd.DataFrame(data)
df['date'] = pd.to_datetime(df['date'])
df.set_index(['date', 'ticker'], inplace=True)

可以通过获取两个移动平均线之间的差异并使用shift检查前一天的符号变化来识别交叉。我已经测试了这种方法(没有groupby)并且效果很好,每当发生交叉时都会提供True值。

但是,我遇到的问题是使用groupby功能将此功能应用于每个股票代码。我最初的方法是使用apply lambda函数。下面的代码添加了2个新列,但是" five200bull"列充满了" nan"没有错误的值被抛出。

def five_cross(df):
    df['fiveminus200'] = df['fiveema'] - df['twohundredsma']    

    df['five200bull'] = df.groupby(level='ticker').apply(lambda x: 
      np.sign(x['fiveminus200'])!=np.sign(x['fiveminus200'].shift(1)))

所以我尝试了一种不同的方法,我将每个自动收报机作为数据帧传递给一个单独的函数。使用大型数据帧时,这种方法要慢得多,但这也没有用。

def add_five_bull(df):
    df['five200bull'] = np.sign(df['fiveminus200']) != np.sign(df['fiveminus200'].shift(1))

def five_cross(df):
    df['fiveminus200'] = df['fiveema'] - df['twohundredsma']    

    # group by ticker
    grouped = df.groupby(level='ticker')

    # pass each ticker in a df to function
    for tick, group in grouped:
        add_five_bull(group)

通过这种方法," five200bull"列永远不会附加到df,我收到臭名昭着的SettingWithCopyWarning。我尝试将df.loc[:, 'fiveminus200']添加到add_five_bull函数中,但除了使用大型数据集花费更长时间之外,它似乎没有任何结果。

显然我的逻辑存在一些缺陷,我将不胜感激任何解决方案的帮助。

1 个答案:

答案 0 :(得分:0)

我相信你需要参数group_keys=False来删除在输出中附加新级别 - 然后数据被标记。另外shift每组返回第一个值NaN,因此np.sign会发出警告:

  

运行时警告:符号中遇到无效值     np.sign(X [ 'fiveminus200'])!= np.sign(X [ 'fiveminus200']。移位(1)))

解决方案是将NaN替换为某个值,例如FalseTrue fillna

def five_cross(df):
    df['fiveminus200'] = df['fiveema'] - df['twohundredsma']    

    df['five200bull'] = df.groupby(level='ticker', group_keys=False).apply(lambda x: 
      np.sign(x['fiveminus200'])!=np.sign(x['fiveminus200'].shift(1).fillna(False)))
    return df  

print (five_cross(df))
                   fiveema  twohundredsma  fiveminus200  five200bull
date       ticker                                                   
2016-01-04 NYMX       2.33          2.300         0.030         True
           EVAR       1.31          3.580        -2.270         True
           PMV        0.54          0.458         0.082         True
2016-01-05 NYMX       2.33          2.310         0.020        False
           EVAR       1.28          3.560        -2.280        False
           PMV        0.54          0.459         0.081        False
2016-01-06 NYMX       2.30          2.320        -0.020         True
           EVAR       1.25          3.550        -2.300        False
           PMV        0.54          0.460         0.080        False
def five_cross(df):
    df['fiveminus200'] = df['fiveema'] - df['twohundredsma']    

    df1 = df.groupby(level='ticker').apply(lambda x: 
      np.sign(x['fiveminus200'])!=np.sign(x['fiveminus200'].shift(1).fillna(False)))
    return df1 

print (five_cross(df))
ticker  date        ticker
EVAR    2016-01-04  EVAR       True
        2016-01-05  EVAR      False
        2016-01-06  EVAR      False
NYMX    2016-01-04  NYMX       True
        2016-01-05  NYMX      False
        2016-01-06  NYMX       True
PMV     2016-01-04  PMV        True
        2016-01-05  PMV       False
        2016-01-06  PMV       False
Name: fiveminus200, dtype: bool