并行化Pandas CSV写作

时间:2018-03-08 14:36:35

标签: python pandas

是否可以同时写入多个CSV?目前,我在输出目录上执行listdir(),并通过文件列表逐个迭代。理想情况下,我希望同时写下所有内容。

以前有没有人有这方面的经验?

1 个答案:

答案 0 :(得分:1)

如果您只有一个HDD(甚至不是SSD驱动器),那么磁盘IO是您的瓶颈,您最好顺序写入它而不是并行写入。磁盘头需要在写入之前定位,因此与一个写入器进程相比,尝试并行写入很可能会更慢。如果你有多个磁盘就有意义了......