熊猫:为空或从TextFileReader对象删除

时间:2019-01-12 09:50:10

标签: python pandas

我正在使用pandas read_csv函数通过一个非常大的CSV文件(10 GB)来逐块进行迭代。另外,我正在使用多处理来并行运行事物以获得更好的性能。一个不希望有的副作用是,我必须运行多个Python进程(Windows O / S),并且所有进程都使用相同的大型TextFileReader对象,因此会耗尽我的内存容量。

在遍历对象时是否可以逐渐减少TextFileReader对象?

我尝试访问TextFileReader对象的各个项目,但是当我使用数字索引时,它失败:“对象不支持索引”。

我有这样的想法:

for df in TextFileReader:
 TextFileReader.remove(df)

我希望,如果我可以从TextFileReader对象中删除完成的项目,则总内存使用量将大大减少。你们如何建议处理呢?

0 个答案:

没有答案