我想阅读csv文件并对该文件执行一些操作。我为我的要求创建了程序,但我没有得到输出,因为文件大小非常大,即~5GB。
我使用简单的系统调用,例如open,readline等。同时我在python中探讨了内存映射支持,但我并不了解mmap的实现。
任何人都可以帮我实现使用mmap或其他任何方式读取大型csv文件,以便降低应用程序的速度吗?
我正在阅读一个csv文件,我想执行一项任务。
任务 -
我想阅读一个csv文件并从此csv文件中读取所有 line_id ,并找出唯一的line_id' s并从这一个唯一的行ID我想找出最大 time_gap 这个唯一的line_id。我必须找出相同的line_id及其相应的最大time_gap。获得所有独特的line_id&他们对应的最大time_gap我想在另一个output.csv文件中使用这两个列信息。
我之前为此任务创建了一个程序,它适用于小型输入文件,但它不适用于大型文件。即~2GB。
我的资料 -
.testimonial-description
如何降低应用程序的执行速度?