我正在尝试使用浮点数组优化读取文本文件。
并行化这个过程会很棒。一种可能的方法是使用mmap
。但是我不知道如何实现它,因为它似乎不清楚如何划分文件,特别是如果浮点数具有不同的格式,如:1.0 123.23 0.1145
等等。
如果有任何其他建议如何优化阅读速度,我很乐意听到它们。
感谢您的回复!
答案 0 :(得分:1)
首先找出瓶颈所在。根据我的经验,从文本文件中读取浮点数可能会很慢,不是因为I / O速度慢,而是因为解析了文本数字。如果是这种情况,可能有助于将整个文件作为文本读入内存(通过单个进程;这里可能没有并行化的好处),然后通过多个线程并行解析它。