如何有效地读取和处理大文件?

时间:2012-01-24 22:37:03

标签: multithreading io

我想知道如何在磁盘上读取大文件并有效地使用它。

我正在处理这个问题。

我正在考虑它,我相信一般的解决方案(不是平台绑定)可能是使用线程和缓冲区。

但我不确定是最好的方法。

我已阅读这些条目,两者都是对的。

What is the best way to do a search in a large file?

What's the best way to read and parse a large text file over the network?

那么,你的建议是什么?

由于

1 个答案:

答案 0 :(得分:1)

我会使用生产者 - 消费者模型来做这件事,一个生产者线程按顺序读取文件的一部分,并将它们放在一个缓冲区中,供多个生产者线程并行处理它们。