如何在python中使用mmap读取巨大的csv文件?

时间:2016-07-06 12:35:34

标签: python csv mmap

我想阅读csv文件并对该文件执行一些操作。我为我的要求创建了程序,但我没有得到输出,因为文件大小非常大,即~5GB。

我使用简单的系统调用,例如open,readline等。同时我在python中探讨了内存映射支持,但我并不了解mmap的实现。

任何人都可以帮我实现使用mmap或其他任何方式读取大型csv文件,以便降低应用程序的速度吗?

我正在阅读一个csv文件,我想执行一项任务。

任务 -

我想阅读一个csv文件并从此csv文件中读取所有 line_id ,并找出唯一的line_id' s并从这一个唯一的行ID我想找出最大 time_gap 这个唯一的line_id。我必须找出相同的line_id及其相应的最大time_gap。获得所有独特的line_id&他们对应的最大time_gap我想在另一个output.csv文件中使用这两个列信息。

我之前为此任务创建了一个程序,它适用于小型输入文件,但它不适用于大型文件。即~2GB。

我的资料 -

.testimonial-description

如何降低应用程序的执行速度?

0 个答案:

没有答案