Question

我正在阅读一系列CSV文件（水位随时间变化的测量数据），以便对它们进行各种分析和可视化。

由于我无法控制的各种原因，这些时间序列通常缺少数据，所以我做了两件事：

我用

计算总数

Rlength=len(RainD)   #counts everything, including NaN
Rcount=RainD.count() #counts only valid numbers
NaN_Number=Rlength-Rcount

如果我的数据丢失数量超过某个阈值，则丢弃数据集：

Percent_Data=Rlength/100
Five_Percent=Percent_Data*5
if NaN_Number > Five_Percent:
    ...

如果NaN的数量足够小，我想用

填补空白

RainD.level=RainD.level.fillna(method='pad',limit=2)

现在问题是：它的月度数据，所以如果我有超过2个连续NaN，我也想丢弃数据，因为这意味着我猜测＆＃34;整整一个季节，甚至更多。

documentation for fillna并没有真正提到连续NaN比我指定的limit=2更多的情况会发生什么，但当我在RainD.describe()之前和之后查看...fillna...时{{1}}并将其与基本CSV进行比较，明确表示它填充了前2个NaN，然后将其余部分保留原样，而不是错误输出。

所以，长话短说：

如何识别大量连续使用熊猫的NaN，没有一些复杂耗时的非熊猫环？

Answer 1

您可以使用多个布尔条件来测试当前值和先前值是否为NaN：

In [3]:

df = pd.DataFrame({'a':[1,3,np.NaN, np.NaN, 4, np.NaN, 6,7,8]})
df
Out[3]:
    a
0   1
1   3
2 NaN
3 NaN
4   4
5 NaN
6   6
7   7
8   8
In [6]:

df[(df.a.isnull()) & (df.a.shift().isnull())]
Out[6]:
    a
3 NaN

如果您想查找连续NaNs出现在哪里，您需要执行以下操作：

In [38]:

df = pd.DataFrame({'a':[1,2,np.NaN, np.NaN, np.NaN, 6,7,8,9,10,np.NaN,np.NaN,13,14]})
df
Out[38]:
     a
0    1
1    2
2  NaN
3  NaN
4  NaN
5    6
6    7
7    8
8    9
9   10
10 NaN
11 NaN
12  13
13  14

In [41]:

df.a.isnull().astype(int).groupby(df.a.notnull().astype(int).cumsum()).sum()
Out[41]:
a
1    0
2    3
3    0
4    0
5    0
6    0
7    2
8    0
9    0
Name: a, dtype: int32

Answer 2

如果您希望将其映射回原始索引，或者有大量NaN，请使用Ed的答案cumsum代替sum。这对于在时间序列中可视化NaN组特别有用：

df = pd.DataFrame({'a':[
    1,2,np.NaN, np.NaN, np.NaN, 6,7,8,9,10,np.NaN,np.NaN,13,14
]})

df.a.isnull().astype(int).groupby(df.a.notnull().astype(int).cumsum()).cumsum()


0     0
1     0
2     1
3     2
4     3
5     0
6     0
7     0
8     0
9     0
10    1
11    2
12    0
13    0
Name: a, dtype: int64

例如，

pd.concat([
        df,
        (
            df.a.isnull().astype(int)
            .groupby(df.a.notnull().astype(int).cumsum())
            .cumsum().to_frame('consec_count')
        )
    ],
    axis=1
)

    a       consec_count
0   1.0     0
1   2.0     0
2   NaN     1
3   NaN     2
4   NaN     3
5   6.0     0
6   7.0     0
7   8.0     0
8   9.0     0
9   10.0    0
10  NaN     1
11  NaN     2
12  13.0    0
13  14.0    0

Answer 3

如果你只想找到连续 NaN 的长度 ...

# usual imports
import pandas as pd
import numpy as np

# fake data
data = pd.Series([np.nan,1,1,1,1,1,np.nan,np.nan,np.nan,1,1,np.nan,np.nan])

# code 
na_groups = data.notna().cumsum()[data.isna()]
lengths_consecutive_na = missing_groups.groupby(missing_groups).agg(len)
longest_na_gap = lengths_consecutive_na.max()

用熊猫识别连续的NaN

3 个答案: