在Dataframe python的列中使用NaT过滤所有行

时间:2014-05-19 21:23:00

标签: python pandas dataframe

我有这样的df:

    a b           c
    1 NaT         w
    2 2014-02-01  g
    3 NaT         x   

    df=df[df.b=='2014-02-01']

会给我

    a  b          c
    2 2014-02-01  g

我想在b列中使用NaT的所有行的数据库?

   df=df[df.b==None] #Doesn't work

我想要这个:

    a b           c
    1 NaT         w
    3 NaT         x    

4 个答案:

答案 0 :(得分:47)

isnullnotnullNaT一起使用,因此您可以像处理NaNs一样处理它们:

>>> df

   a          b  c
0  1        NaT  w
1  2 2014-02-01  g
2  3        NaT  x

>>> df.dtypes

a             int64
b    datetime64[ns]
c            object

只需使用isnull选择:

df[df.b.isnull()]

   a   b  c
0  1 NaT  w
2  3 NaT  x

答案 1 :(得分:9)

对于那些感兴趣的人,在我的情况下,我想删除数据帧的DateTimeIndex中包含的NaT。我不能直接使用Karl D建议的notnull结构。首先必须从索引中创建一个临时列,然后应用掩码,然后再次删除临时列。

df["TMP"] = df.index.values                # index is a DateTimeIndex
df = df[df.TMP.notnull()]                  # remove all NaT values
df.drop(["TMP"], axis=1, inplace=True)     # delete TMP again

答案 2 :(得分:5)

使用您的示例数据框:

df = pd.DataFrame({"a":[1,2,3], 
                   "b":[pd.NaT, pd.to_datetime("2014-02-01"), pd.NaT], 
                   "c":["w", "g", "x"]})

直到v0.17,这不起作用:

df.query('b != b') 

你必须这样做:

df.query('b == "NaT"') # yes, surprisingly, this works!

从v0.17开始,两种方法都有效,但我只推荐第一种方法。

答案 3 :(得分:0)

我认为@DSM的评论本身值得一个答案,因为这回答了基本问题。

误解来自假设cast的行为类似于GenServer。但是,在pd.NaT返回None的同时,None == None返回True。熊猫pd.NaT == pd.NaT的行为类似于浮点数False,这不等于它本身。

如上一个答案所述,您应该使用

NaT