编辑空数据

Question

给定下面的多索引多列数据帧，我想将LinearRegression应用于此数据帧的每个块，例如，＆＃34;索引（X，1），列A和＃34;。并将预测数据帧计算为df_result。

                           A    B
X   1   1997-01-31  -0.061332   0.630682
        1997-02-28  -2.671818   0.377036
        1997-03-31  0.861159    0.303689
        ...
        1998-01-31  0.535192    -0.076420
        ...
        1998-12-31  1.430995    -0.763758
Y   1   1997-01-31  -0.061332   0.630682
        1997-02-28  -2.671818   0.377036
        1997-03-31  0.861159    0.303689
        ...
        1998-01-31  0.535192    -0.076420
        ...
        1998-12-31  1.430995    -0.763758

以下是我尝试的内容：

import pandas as pd
import numpy as np 
from sklearn.linear_model import LinearRegression

N = 24
dates = pd.date_range('19970101', periods=N, freq='M')
df=pd.DataFrame(np.random.randn(len(dates),2),index=dates,columns=list('AB')) 
df2=pd.concat([df,df],keys=[('X','1'),('Y','1')])

regr = LinearRegression()

# df_result will be reassined, copy the index and metadata from df2
df_result=df2.copy()

# I know the double loop below is not a clever idea. What is the right way?
for row in df2.index.to_series().unique():
    for col in df2.columns:
        #df2 can contain missing values
        lenX=np.count_nonzero(df2.ix[row[:1],col].notnull().values.ravel())
        X=np.array(range(lenX)).reshape(lenX,1)
        y=df2.ix[row[:1],col]
        y=y[y.notnull()]

        # train the model
        regr.fit(X,y)

        df_result.ix[row[:1],col][:lenX] = regr.predict(X)

问题是上面的双循环使计算速度非常慢，100kb数据集超过十分钟。什么是pythonic方法呢？

修改

上面代码最后一行的第二个问题是我正在使用数据帧的一部分副本。＆＃34; df_result＆＃34;的一些列没有使用此操作进行更新。

EDIT2：

原始数据的某些列可能包含缺失值，我们无法直接对它们应用回归。例如，

df2.ix[('X','1','1997-12-31')]['A']=np.nan
df2.ix[('Y','1','1998-12-31')]['A']=np.nan

Answer 1

我不太了解行循环。

无论如何，为了保持我在np.random.seed(1)位于顶部的数字的一致性

简而言之，我认为你可以通过函数，groupby和调用.transform（）实现你想要的。

def do_regression(y):
    X=np.array(range(len(y))).reshape(len(y),1)
    regr.fit(X,y)
    return regr.predict(X)

df_regressed = df2.groupby(level=[0,1]).transform(do_regression)

print df_regressed.head()

                       A         B
X 1 1997-01-31  0.779476 -1.222119
    1997-02-28  0.727184 -1.138630
    1997-03-31  0.674892 -1.055142
    1997-04-30  0.622601 -0.971653
    1997-05-31  0.570309 -0.888164

与你的df_result输出匹配。

print df_result.head()

                       A         B
X 1 1997-01-31  0.779476 -1.222119
    1997-02-28  0.727184 -1.138630
    1997-03-31  0.674892 -1.055142
    1997-04-30  0.622601 -0.971653
    1997-05-31  0.570309 -0.888164

哦，还有几个替代方案：

X=np.array(range(len(y))).reshape(len(y),1)

1.) X = np.expand_dims(range(len(y)), axis=1)
2.) X = np.arange(len(y))[:,np.newaxis]

编辑空数据

ok 2建议：

使用interpolate方法填充空值是否合法？

df2 = df2.interpolate()

OR

对非空值进行回归，然后在适当的索引位置

重新弹出空值

   def do_regression(y):

        x_s =np.arange(len(y))
        x_s_non_nulls =  x_s[y.notnull().values]
        x_s_non_nulls = np.expand_dims(x_s_non_nulls, axis=1)

        y_non_nulls = y[y.notnull()]  # get the non nulls

        regr.fit(x_s_non_nulls,y_non_nulls)  # regression
        results = regr.predict(x_s_non_nulls)

        #pop back in then nulls.
        for idx in np.where(y.isnull().values ==True):
            results = np.insert(results,idx,np.NaN)

        return results

将函数应用于多索引多列dataFrame的Pythonic方法是什么？

1 个答案:

编辑空数据