如果您分块加载csv，pandas dropna（）将不起作用

Question

我正在使用chunksize加载〜24GB的csv文件

reader = pd.read_csv(in_file, chunksize=10000)

for chunk in reader:
    chunk.dropna(inplace=True)
    ...

我正在运行的问题是csv文件仍然具有空值。知道可能是什么吗？

Answer 1

我最后要做的是

reader = pd.read_csv(in_file, chunksize=10000)

for chunk in reader:
    chunk = chunk.dropna()
    ...

感谢@kabanus和@ user32185的帮助。我还使用了dask来帮助调整文件大小。