pandas rolling和ewm完全忽略na并使用最后N个有效数据

Question

关于新的.rolling和.ewm方法。我使用pandas 0.19.0。

>>> df = pd.DataFrame({'A' : [1,2,np.nan, 3, 4, 5], 'B' : [1,2,3,np.nan, 4, 5]})
>>> df
     A    B
0  1.0  1.0
1  2.0  2.0
2  NaN  3.0
3  3.0  NaN
4  4.0  4.0
5  5.0  5.0

>>> df.rolling(window = 3).mean()
     A    B
0  NaN  NaN
1  NaN  NaN
2  NaN  2.0
3  NaN  NaN
4  NaN  NaN
5  4.0  NaN

期望的输出是完全忽略南方，使用最后3个有效数据，并将南方留在原处。

     A    B
0  NaN  NaN
1  NaN  NaN # first two we don't have enough data
2  NaN  2.0 # B column is valid
3  2.0  NaN # completely ignore the nan in df.ix[2,'A'], take the mean of last 3 valid data
4  3.0  3.0
5  4.0  4.0

对于.ewm，我们有一个ignore_na参数。下面的代码得到了我想要的东西

output = df.ewm(com=2, ignore_na=True).mean()
output[df.isnull()] = np.nan

Answer 1

困难的部分是你想要最后3个有效数据点。

df.apply(lambda x: x.dropna().rolling(3).mean().reindex(x.index))