更高效的pandas python命令可以删除Nan行吗?

时间:2014-11-03 17:12:25

标签: python pandas nan

我有一个称为TI的DF。我想删除BookDate为NaN的行。所以我跑:

TI = TI.dropna(subset=['#Book_Date'])

当我运行这个时,由于某种原因,内存被吃掉了(我使用100GB的RAM机器,大约50%的RAM用于保存TI,当我运行该dropna线时,它会转到100%使用并且从未完成执行命令)。它是否制作了全新的副本? TI是一个6400万行数据帧,因此需要更高效。

1 个答案:

答案 0 :(得分:0)

到目前为止,最好的方法是通过就业来实现这一点,该列必须是有限的。你需要numpy。

from pandas import *
import numpy

TI = TI[np.isfinite(TI['#Book_Date'])]