我想知道如何在磁盘上读取大文件并有效地使用它。
我正在处理这个问题。
我正在考虑它,我相信一般的解决方案(不是平台绑定)可能是使用线程和缓冲区。
但我不确定是最好的方法。
我已阅读这些条目,两者都是对的。
What is the best way to do a search in a large file?
What's the best way to read and parse a large text file over the network?
那么,你的建议是什么?
由于
答案 0 :(得分:1)
我会使用生产者 - 消费者模型来做这件事,一个生产者线程按顺序读取文件的一部分,并将它们放在一个缓冲区中,供多个生产者线程并行处理它们。