使用Python Pandas在csv文件中跳过行

时间:2013-07-24 05:38:37

标签: python csv numpy pandas

我有一个关于使用Pandas读取csv文件的快速问题。我拥有的CSV文件格式为:

Num  Date     Value1   Value2   Value3 
1   7/29/11    1        2        3       
2   7/22/11    NA       3        1       
3   7/15/11    5        NA       NA  
4   7/6/11    -1        0        2

我想用pandas阅读这个csv文件。但是,我需要跳过任何列条目为NA的行(在这种情况下,我需要跳过第2行和第3行)。

谢谢!

1 个答案:

答案 0 :(得分:2)

@Rutger指出,您只需使用dropna

In [11]: df.dropna(subset=['Value1', 'Value2', 'Value3'])
Out[11]:
   Num     Date  Value1  Value2  Value3
0    1  7/29/11       1       2       3
3    4   7/6/11      -1       0       2

我建议的初始方式(显然不是最佳方式),一旦您将其作为DataFrame读取,就可以使用notnull删除这些行(您只想保留那些全部为{{{ 3}}):

In [21]: df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull)
Out[21]:
  Value1 Value2 Value3
0   True   True   True
1  False   True   True
2   True  False  False
3   True   True   True

In [22]: df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull).all(1)
Out[22]:
0     True
1    False
2    False
3     True
dtype: bool

并仅选择那些行:

In [23]: df[df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull).all(1)]
Out[23]:
   Num     Date  Value1  Value2  Value3
0    1  7/29/11       1       2       3
3    4   7/6/11      -1       0       2

In [24]: df = df[df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull).all(1)]