我有一个称为TI的DF。我想删除BookDate为NaN的行。所以我跑:
TI = TI.dropna(subset=['#Book_Date'])
当我运行这个时,由于某种原因,内存被吃掉了(我使用100GB的RAM机器,大约50%的RAM用于保存TI,当我运行该dropna线时,它会转到100%使用并且从未完成执行命令)。它是否制作了全新的副本? TI是一个6400万行数据帧,因此需要更高效。
答案 0 :(得分:0)
到目前为止,最好的方法是通过就业来实现这一点,该列必须是有限的。你需要numpy。
from pandas import *
import numpy
TI = TI[np.isfinite(TI['#Book_Date'])]